The future of querying big data with Polybase and SQL Server – THR2170

>>> 앞으로 가자

시작되었습니다 감사합니다 모든 권리, 나는 TRAVIS WRIGHT입니다 나는 SQL에 관한 PM 중 한 명이다 서버 공학 팀 및 우리 PUTTING 작업 중임 함께이 SQL 서버 2019 마지막 큰 데이터 클러스터 1 년 또는 그 이상

우리는 단지 이것을 발표했다 주 수녀님 들께 공고 I 'm Guessing, 니가 왜 여기 있니, 그렇지? 너는 뭐라 생각하니? IT는 최고급입니까? 알지 못합니까? 알아 듣지 못하는지? 어떤 사람들에게는 새로운 것이 전부입니다 오늘 우리는 당신에게 KIND OF KIND OF 우리가하고있을 때의 개요 왜 우리가 그와 그 종류의 그냥 너에게주는 것 우리가 어디 있는지에 대한 의견이 있어요 머리와 우리가 생각하는 것 이것에 관해서, 우리는 매우 좋습니다

너를 얻는 데 관심이있다 우리가하고있는 것에 대한 피드백 또는 우리가 머리말을하고 있는지 여부 여기 오른쪽 방향 기본적으로 그것이 아래로 온다 데이터 사용자의 수 관리가 단지 폭발적입니다 내가 뽑아보고 싶은 통계 중 하나 밖으로 나 모르겠다

그곳에는 그걸로 밝혀졌습니다 80 데이터 오늘 세계에서 창녀 지난 2 년 동안 인터뷰와 같은 IT 소리 질문, 당신이 묻는다면 데이터의 양을 추정해라 세상과 사람처럼 흰색을 그려 내야한다

보드, 오른쪽? 거기에 많은 데이터가 있습니다 데이터 유형 우리는 저장 중입니다 더 많은 다양성을 낳을 것입니다 잘 IoT DATA STREAMS COMING 에서

데이터의 양은 제어 해제 정말 우리가해야 할 일 의 성공을위한 명령 우리 조직은 유용 할 수 있습니다 그 통찰력을 얻으려면 데이터 그것은 흥미롭고, 나는 보았습니다 몇 몇 금융 뉴스 채널 TV에서의이 아침, 그리고 모두 이 사람들은 이야기하고있다

한 분과 같은 다음에 표시 방법 회사는 집계 중이며 데이터를 사용 중입니다 그들이 말한 것처럼 AMAZON의 새로운 상점, 그들의 새로운 소매점에 보관하십시오 중 하나에 대해 이야기했다 주된 이유는 이것입니다 소매점은 가질 수 있습니다

사람들은 소매점으로 들어갑니다 그들은 데이터를 수집 할 수 있습니다 소매점 직원 소매업 매장 주변 및 이동 방법 상점 및 종류 사람들은 그곳에 와서 상점의 전체 지점이 아닙니다 물건을 팔기에는 너무 많지만 사람들에 관한 자료 수집에 행동을 산다 모든것이 엄청나게 내려갔습니다

오늘의 모든 방법으로 오늘의 TA 이 다른 뉴스 섹션 우리가하는 모든 일 중 하나 1 년 후 우리는 조사를하고 있습니다 소수의 수령 기업 그들이 어떻게 사용하는지 알아 낸다 기술, 그리고 우리는 가고 재무 성과 비교 이것들이 공개적으로 나온 결과 트레이드 된 회사 및 POST 성공하는 부분을 찾으십시오 방법에 관한 회사들 그들은 기술을 사용하고 있습니까? 이 회사들은 무엇입니까? 나머지와 다르게? 그리고 지난 몇 년 동안, 우리는 어디에서나 동향을 보았습니다

이 회사들 데이터 통합 ETL을 사용하지 않고, 그들은 있습니다 그들의 데이터를 합친다 만들기 위해 집중화 된 데이터 저장소 더 쉽게 데이터를 통합 가능하고 접근 가능한, 그리고 그들의 데이터에 대한 ANALYTICS 우리는 이러한 추세를보고 있습니다 그리고 우리가 할 수있는 말은 이 기업이 더 도움이되도록 도와주세요

SQL 서버와 성공 그 회사에 도움이되는 회사 커튼을 넘어서서는 안된다 성공할 수는 없다 그보다 더 쉽게하십시오 SQL Server 2019에 대한 정보 모든 것을 통합 할 수있게 해줍니다 귀하의 데이터와 모든 귀하의 데이터와 모든 것을 분석하십시오 귀하의 데이터, 그리고 우리는 그 정보를 오늘 세 가지

그래서 처음으로 시작하자 귀하의 모든 데이터를 통합하고 SQL 서버 2016 년, 우리는 A 기능은 폴리베이스를 호출합니다 사람들이 폴리 폴리를 어떻게 사용하고 있는가? 베이스? 괜찮아 그게 내가 예상하는 것 우리가 겪은 것은 무엇 이었습니까? 고객이 좋아하는 이유를 알았습니다

당신은 폴리베이스, 다른 무엇을 사용하여 문제가 있습니다 그 일종 사람들은 IDEA를 좋아하고 그것을 만듭니다 나를 위해 쉽게 통합 데이터,하지만 우리가 알아 낸 것 입양에 대한 압박, 그리고 우리 우리의 일부로서 언급 됨 해결책 우리는 그것과 동일한 개념을 취하고있다

폴리베이스가 어떻게 작동하는지, 사람들에게 더 편한 IT 생성하여 데이터 통합 테이블 그럼 너는 단지 그걸 질의 할 수있어 SQL Server의 내부 테이블 다른 표가 있겠지 당신은 다른 테이블에 그것을 조울 수 있습니다 하지만 QUERY DATA 시간에 그 테이블 밖으로 우리가 가서 얻는다

외부 데이터의 데이터 출처, 2016 년 우리가 그랬던 것처럼 클라우드 또는 호튼과 같은 것이 아닙니다 지금 HDFS가 2019 년에 작동합니다 오라클에 커넥터를 추가하면, 타라 데이타, 기타 SQL 서버 및 사용 가능한 일반 커넥터 모든 데이터 소스에 연결 그것이 OBDC 준수입니다 그리고 당신이 뛰는 시간에 QUERY 우리는 데이터를 가져올 것입니다 당신은 꼭 필요하지 않습니다

데이터를 SQL 서비스로 이동하십시오 QUERY IT 느낌을내는거야? 우리가 가고있는 것들 중 하나 성과 향상을 위해 노력하십시오 우리는 SQL 부분으로 소개하고 있습니다 이 기능이 호출 된 서버 데이터 풀 및 데이터 풀은 A SET SQL SERVER INSTANCES의 설정 배포하고, 우리가 할 일은 무엇입니까? 우리는 기본적으로 외부 테이블과 함께 이야기해라

데이터 풀 및 포인트 미국에서 A 데이터 풀, 우리는 데이터 소스와 같은 오라클과 같은 외부 데이터베이스 보기를 위해 그리고 그 자료를 얻기 데이터 풀, 파티션까지 이 모든 것을 IT 및 확산 여러 SQL Server 인스턴스 지금 자료는 고죄된다 여러 SQL Server를 실행합니다 그런 다음 QUERY를 수행 할 때 그 외의 테이블, 돌아 가기 대신에 자료 제공 및 자료 수집 지역 필터 및 집계 PARALLEL은이 모든 SQL을 포함합니다 서버 인스턴스

당신은 어디에서 유죄 판결을 받습니까? 그 각각의 설치 데모를 보러 가자 외부 테이블 만들기 신탁 그래서 나는 여기에있다 AZURE DATA STUDIO

기다려, 내가 너에게 보여 줬어 이 그리고 AZURE DATA STUDIO는 우리의 새로운 소식입니다 CROSS OS WINDOWS LINUX 및 MACK 모든 종류의 사람들을위한 도구, 데이타 사이언스를위한, DBA를위한 개발자 용 너는 다른 것을 볼 것이다

우리가 경험하는대로의 경험 이것,이 도구는 모든 정보는 귀하의 정보와 동일합니다 SQL Server 또는 사용자 안쪽에 앉아 있습니다 스파크와 함께 사용하고 싶습니다 우리는 이걸로 갈거야 SQL Server를 바로 여기에서 사용할 수 있습니다

우리가 닮은 것을 많이 찾아 본다 IN SQL 관리자 서버 지금 우리는 새로운 외부 테이블 마법사 창출 AZURE DATA STUDIO 내부 오라클 데이터베이스에 연결 외부 테이블 만들기 오라클 내부 테이블 내가 가야 할 일 이 외부 데이터 소스 A를 제공하십시오

이름, 그리고 내가 갈거야 이 서버에 연결 우리는 AT와 연결될 것입니다 XE 데이터베이스, 우리는 ORACLE CREDENTIAL 생성 및 우리는 연결하려고합니다 시스템과이 슈퍼 시큐리티 내가 너에게 말할 수없는 패스워드 IT가 너무 어렵 기 때문에

알았어, 지금 우리가하고있는 일 우리는 실제로 갈 수 있습니까? ORACLE 인스턴스 우리는 실제로 그걸 사용할 수있는 계획 데이터베이스, 우리가 선택할 수 있습니다 우리가 원하는 테이블 EXTERNAL을 넘어서 SYNCHRONIZE SQL Server 내부 테이블 우리는 여기 테이블에 열을 지어 라 우리가 원할 경우 매핑하기 알고 계셔, 다르게 열 이름 또는 우리가 원할 수도 있습니다 테이블의 이름을 변경하십시오

SQL Server 내부 및 그 다음 우리는 다음을 클릭하고 생성 할 수 있습니다 – 그리고 이것은 갈 것이고 창조 할 것입니다 미국을위한 새로운 외부 테이블 만약 우리가 지금 여기 저기로 가면 테이블의 목록을 새로 고침합니다 우리가이 새로운 오라클을 보았습니다 재고 목록 및 우리는 그냥 할 수 있습니다

이 항목을 1,000 개 이상 선택하십시오 테이블, 그리고 우리가 그 시간에 그냥이 쿼리를 수행하십시오, 우리는 가고 있습니다 데이터를 얻으려면 오라클 데이터베이스 뒤로 지금 당신의 모든 응용 프로그램 SQL Server에 연결 그 데이터에 대한 액세스가 존재 함 오라클 및 그 안에있는 테이블 REALTIME, 오라클은 무엇을 의미합니까? 권리? 이 종류의 문제를 해결하기 위해, ETL이있는 곳이면 누구보다도 일부 코드를 작성해야합니다 그 데이터 동기화

나에게 많은 것을 가져다 주었다 내가 할 수있는 것 이상으로 저 위저드, 맞아, 그럼 내가 옳을거야 ETL을 유지해야했다 SCHEME MA 때까지 운전하십시오 변경되었습니다

나는 중복 복사본을 만들어 내고있다 내 데이터와 내가 그것을 움직일 때마다 나는 그 안에서 움직이고있어 규정 준수의 경계선, 나는 그렇습니다 나의 공격 표면 증가 가난한 사람들을위한 지역 데이터의 모든 사본, 그리고 나도 알아야 해 끊임없이해야 할 종류 이거 지키고 있니? 모든 사람, 나는 너희 모두가 잘하고 있음을 확신한다

이거 가져라 나는 ETL SPAGHETTI라고 부른다 당신은 ETL SPAGHETTI를 가지고 있습니다 어디서나 직업을 가지고있는 곳 장소 너머 누가 알았어? 데이터의 AT? 사용자가 당신에게 와서 말합니다 내 데이터를 삭제하고, 너 오하이오

나는 네가 어디에서 왔는지 알지 못한다 데이터, 죄송합니다, 전부 끝났어 장소 우리는 장소에있는 데이터를 놓을 수 있습니다 그럼에도 불구하고 계속 질문 할 수 있습니다

SQL Server는 다른 테이블처럼 지금부터 살펴 보자 다음 중위 귀하의 모든 데이터를 관리하십시오 귀하의 모든 데이터를 관리하는 데있어서, 우리가하고 싶은 것이 우리가 원하는 것입니다 사람들을 위해 쉽게 만들 수 있습니다

그들의 큰 데이터를 통합하고 그들과의 관계 데이터 귀하의 관련 데이터입니다 이것은 당신의 큰 데이터입니다 그들은 사랑에 빠져 있습니다 그것은 아름답습니다 행복한 이야기, 그리고 그 것 우리가 가고있는 것의 종류 여기에

거의 모든 고객과 마찬가지로 얘기하자면, 빅 데이터가 있습니다 하나의 건물에서, 그리고 SQL 사용자는 다른 쪽에서 꺼져 있습니다 건물, 그리고 그들은 거의 이야기 그림을 제외하고 각각 다른 곳에 그들의 데이터를 어떻게 편집 할 것인가? 방법 또는 다른 절대 유일한 것입니다 해야 할 것

나는 당신의 자료를 원한다 나는 너를 원한다 데이터 그들은 그들의 데이터를 내보내고 있습니다 여기 저기

우리는 통일 된 창조를 원한다 배치가 가능한 시스템 당신의 관련 데이터와 빅 하나의 통일 된 솔루션으로서의 데이터 MICROSOFT가 제공 한 MICROSOFT가 지원하는 우리가 실제로 취하고 있니? 오픈 소스 프로젝트 주변 큰 데이터, APACHE SPARK 및 APACHE HDFS와 우리는 SQL Server를 사용하여 상자에 넣습니다 2019 SQL의 최상위에 SQL을 배치하십시오 쿠 베르 네트

너는 얼마나 친숙한가? 쿠 버넷 네? 그것에서 시작된 적용 분야 하지 마라 – 너는 잃을 수있다 귀하의 데이터 데이터가 실제로 없습니다 지금은 사람들이 시작하고 있습니다 이 컨테이너로 알기

에코 시스템은 성숙, 그들은 데이터베이스 작업을 실행하고 있습니다 KUBERNETES의 정상에 잘 어울립니다 거기에 대한 많은 장점이 있습니다 호스텔을위한 커 버넷 사용 이 아키텍처 그것은 아주 빨리 입양하게됩니다

콘테이너 : 나는 데모를했다 – 나는 할 것이다 곧 비디오 준비 완료 일부 HPE에서 YouTube로 이동하려면 그들이 제공 한 하드웨어 미국인들은 그들의 실험실에서 3 1/2 KERR RA는 RAM의 비트입니다 정교한 비니 시스템, 그리고 하나의 명령으로 할 수있다 전체 SQL Server 설치 2019 빅 데이터 클러스터 300 SQL Server의 인스턴스, 200 HDFS 데이터 노트, 200 스파크 런 시간 순서 원사, 노크, 레인저, A FULL 좋아하는 경영 평면 모든 것을 저장하는 열정적 인 검색 로그는 로그에 기록됩니다

전체적으로 INFLUX DB를 저장하십시오 모든 모니터링 데이터 관리자 PORTAL AND SO SO ON 이 물건을 내가 파견 할 수있다 싱글이있는 모든 것 명령 및 모든 이미지 있습니다 다운로드 한 모든 콘테이너가오고 모든 것 자동 유선 함께 SQL 끝낼 수 있습니다

포인트 또는 녹스 엔드 포인트 인 8 분 나는 당신이 다운로드 할 수 있다고 생각하지 않는다 SQL Server의 WINDOWS ISO 8 분, 그냥 다운로드 당신이 굉장히 인상적이야 이 때문에 할 수 있는가? 쿠 버넷 (KUBERNETES)의 건축

기타 주요 혜택 중 하나 KUBERNETES에 올라 타는 것은 그것의 것입니다 신청서 개요 플랫폼, 오른쪽? SQL 서버 2019를 실행할 수 있습니다 큰 데이터 클러스터 어디에서나 쿠 베넷 네 KUBERNETES 클러스터가 될 수있다 너는 예비에 너 자신을 가지고있다

데이터 센터 너는 너의 길을 열어 줄 수있다 미리 데이터 센터에 SQL Server 실행 2019 빅 데이터 AZURE 스택 맨 위에 클러스터 또는 당신은 그것을 관리 할 수 ​​있습니다

AZURE OR KUBERNETES 서비스 AWS, EC IT와 같은 측면에서 컨테이너 소스 정말 중요하지 않습니다 쿠 베넷 제공 미국을위한 계획, 그리고 우리는 할 수있다 우리가 원하는 곳으로 배포하십시오 지금,이 부분으로 우리가 배포 할 아키텍처 HDFS, 모든 HDFS 데이터 노드 SQL Server 엔진 실행 실행 바로 옆에 그것이있을 것입니다

잘 엔진에 스파크 그게 미국에 접근하도록 허용하는 것 둘 중 하나를 통한 데이터 링크 공유 SQL 서버 또는 스파크 작업 데이터 과학자가 선호하는 경우 스파크로 일하고, 대단하다 SPARK END POINT를 사용하여 그 (것)들에 연결하고하십시오 불꽃 구인 귀하의 응용 프로그램 개발자, 귀하의 DBA, MAYBE – 그게 아름다운

이 모든 것이 모든 사람에게 가능합니다 공유 데이터 호수 이걸 봐라 건축, 그것이 무엇인지 우리가 배포하는 곳으로 내려갑니다 우리는 저장고에 무엇을 부르는 지, 그리고 저장 풀이가 이거 야

HDFS, 스파크 및 SQL에서의 확장 성 그래서 건축은 시간이 지남에 따라, 당신은 근심을 가지고 있습니다 조인 된 하드웨어 용량 귀하의 커 버넷 클러스터로, 배포를 계속할 수 있습니다 추가 저장 수영장 포드 AT 그 레이어, 그리고 당신은 실행할 수 있습니다 SQL 서버의 쿼리 마스터 인스트럭션과 리치 다운 SQL 서버 사건에 – IF 한 줄을 읽고 싶다 여기 HDFS에있는 테이블에서 예를 들어, 상단의 외부 테이블 이걸 읽고 데이터 파일을 읽으십시오

우리가 그 시간에 무엇을할까요? SQL에 대한 질의를 보내라 그 위에있는 서비스 인스턴스 데이터 파일의 데이터 노드 IS AT AND SOY는 파일을 읽고 SQL Server에는 능력이 있습니다 데이터 파일 읽기 및 쓰기 NATIVELY 데모를 보러 가자 이 작업하기 사실은

이 쿼리를 작성하려고합니다 이리 미안, 나는 나가야 해 이 나는 항상 잊어 버린다

하기 위해서 괜찮아 그럼이 질문을 여기에서 가져 오자 우리의 사랑스런 천국으로 돌아 가라 데이터 스튜디오, 우리는 가고있다

이 새로운 검색어를 만드십시오 이 작업을 수행 괜찮아 자, 너 내가 갈거야 외부 테이블 만들기 이 디렉토리는 내부에 위치합니다

HDFS의 이것은 HDFS BROWSING입니다 당신은 AZURE를 경험하게됩니다 데이터 스튜디오 그것은 기본적으로 파일과 같습니다

경험이 풍부한 탐험가 경험 당신이 볼 수있는 AZURE STUDIO 그 모두가 계속되고있어 나는이 전화 번호부를 불러왔다 스트림 데이터를 클릭하면 의 수백만을 포함하는 파일 CLICK STREAM DATA의 기록 KY는 EXTERNAL TABLE ASK를 생성합니다 SQL 스토리지 풀 사용 QUARY를 사용하십시오

그런 다음 나는 정의를 읽었다 데이터 파일에 대한 스키마 나는이 외장을 만들 수있다 표 한 번 내가 외부를 만들어 낸다

테이블, 지금 당장 조회 할 수 있습니다 그저 내가 좋아할만한 테이블 다른 테이블과 흥미 진진한 점 특정 검색어는 유일하지 않습니다 나는 아래로 물러나서 CSV 파일의 데이터 SQL Server에서 HDFS로 이동 하지만 오늘 그걸로 기분 나빠 SQL Server 내부에서 실행 중입니다 마스터 일은 물론

이것은 나를 결합하게 해준다 그 마스터에 OLTP 데이터 실행 내 HDFS 데이터가 포함 된 인스턴스 하나의 질문 나는 그냥 테이블 조인이야 특별한 것은 없어요 약 그것

미안, 많이 들었어 당신이 상상할 수있는 한 이번 주 그래서 계속 가자 이리 그래서 지금 우리가 정말로하고 싶다면 BIG QUERY, 그럼 우리가 소개 할 수있어

우리가 무엇을 부를까? 손잡이 그것으로 여러 가지로 배포 버라이어티의 맨 위에있는 콘테이너 그리고 그들은 함께 일하기 시작했다 데이터 각 컴퓨터 손잡이 예 F THE 데이터와 각자의 말을 들어라 집계를하는 ​​기타 전체 설정에서 떨림

교차 분할 집계 및 날카롭게하고, 그것을 보낼 것입니다 머리로 돌아온 결과 마디 고맙습니다 내 팀이 앞으로 나아갈 것 같아 나를 둘러싼 다음과 같이 시작하자

이 지점에 물병 이 모든 일이 언제나처럼 이 지점에 있습니다 따라서 컴퓨터를 집어 넣을 수도 있습니다 외부 데이터 소스로의 이동 오라클, 테라 데이터, 동부 표준시 CETERA, 그리고 당신은 사용하실 수 있습니다 우리가 말한 데이터 팩 EARLIER, 그러면 컴퓨터를 뽑아 라 그 위에 꼭대기를 당겨 라

로컬 필터를 사용하고 있습니다 총괄은 여기 있고, 당신은 교차 분할하기 통일 및 해체 너는 비참 해 지금 건축 당신이 그것에 대해 생각한다면, 이것은 기본적으로 SQL 서버가 좋아함 항상 시스템을 비 춥니 다

너를 처리하고 싶으면 빠른 질문 또는 원하는 질문 더 많은 데이터를 저장하고 관리하십시오 당신의 좋아하는 OEM 및 구매로 가십시오 더 큰 상자, 그렇지? 이 건축물에 너는있어 당신이 할 수있는 가늠할 수있는 시스템 사용중인 저장소 확장 HDFS 저장 용량을 확장 할 수 있습니다

데이터 풀 인스턴스 사용 컴퓨터를 확장 할 수 있습니다 SQL Server 인스턴스를 사용 중입니다 이 레이어는 당신을 화나게했습니다 수평 확장, 수직 확장 네가 돌아갈 수 있다고 단정 짓는다

그리고 DOWN ON DEMAND 그것의 탄성과 스케일 이 작업을 통해 마스터 인스턴스 모든 이용 가능 그룹 읽기와 함께 읽기 확장하십시오 단 두 번째 SQL Server가 실제로 증가했습니다 이것은 A가 정의한 것이 아닙니다 단일 상자, 오른쪽? 이것은 당신이 지금 할 수있는 것입니다

거대한 건축물에 배치 그 규모가 크고 탄력적입니다 그래서 우리는 A를 제공 할 것입니다 통일 행정 경험 이것은 물론 그래서 당신은 AZURE 데이터를 보았습니다

SQL을 할 수있는 도구 그리고 HDFS 그리고 우리는 A에서 볼 수 있습니다 하나의 도구로 분 거리 우리는 관리를 제공하고 있습니다 해당 상자의 서비스 모든 로그 콜렉션 전체 건축 문의 다시 열정적 인 검색 기능을 제공합니다 그리고 나서 우리는 CABANA를 위에 올려 놓았습니다

그래서 당신은 로그 분석을 할 수 있습니다 이전에 데이터 모니터링하기 INFLUX DB 그리고 우리는 가지고있다 대시 보드는 여기에서 볼 수 있습니다 너를 감시 할 수있게 해줘 모든 성과 클러스터를 통해

지금 당장 보자 귀하의 모든 데이터를 분석하십시오 IT가 모두를 분석 할 때 귀하의 데이터, 우리가 제공하는 것 완벽한 인공 지능 플랫폼입니다 당신을 사로 잡는 모든것 스파크 스트리밍을 통한 데이터, 예를 들어, HDFS 내부에 데이터 저장 또는 SQL 마스터 서비스 또는 데이터 풀, 그런 다음 갈 수 있습니다 데이터 준비 작업 수행 스파크를 사용하여 작업하고, 기계를 사용하십시오

SPARK ML을 사용하여 학습하거나 SQL – SQL 서버 내부 프리젠 테이션 기능 사용 또는 그들을 조작 할 수 있습니다 콘테이너는 당신을 도울 것입니다 우리가 만든 모델에서 만들어라 도구 키트를 가져다주세요 너의 모델 우리는 그것의 주위에 REST API를 감쌀 것이다

SWAGGER 기반 및 자동 제공 규정 너는 콘테이너 위에 위치한다 쿠 베르 네트 그것이 스 워거를 기반으로하기 때문에 REST API로 A를 자동 실행 가능 고객을위한 라이브러리 당신이 원하는 프로그래밍, 자바, C 샤프, 상관 없어 귀사의 어플리케이션 개발 업체는 모델을 쉽게 조작 할 수 있습니다 이 라이브러리를 사용하고 그 컨테이너들이 위에 솟아있다

거기에 그 (것)들을보기 위하여 노트 북 체험 AZURE DATA STUDIO에 설치 당신이 스파크를 만들 수있는 것 구원과 실행 SQL Server Big Spark 측 데이터 클러스터 내가 가지고있는 책을 갖게하려면 여기,이 노트북 경험은 완전히 새로운 것입니다 그것의 AZURE DATA STUDIO입니다 우리는 단지 알려지지 않았다

이번 주 그대로 미리보기 확장 노트북 체험은 유익하다 그 사람들에게 새로운 2 개의 SQL을 실행하는 가족 QUERIES 그 방법은 당신에게 있습니다 이 다른 세포들 그들 안에있는 코드

우리는 SQL을 만들려고한다 너무 귀여운 노트 이 코드 셀 안에,이 안에 그게 우리 편이야 이 문제를 해결하기 위해 큰 소리로 눈을 뜨다 데이터 클러스터, 그리고 실행할 수 있습니다

암호 이 사건에서 나는 무엇을하고 있는가? 이 CSV 데이터를로드 중입니다 여기에 넘쳐나는 파일 이 디렉토리 및 데이터 FRAMESHOW 당신은 존재하는 데이터를 볼 수 있습니다

여기에서 이것은 단지 일부 샘플 데이터입니다 당뇨병 검사와 같은 설정 PREDICT를 할 수있는 곳 또는 누군가가 될지 여부 그들의 생체를 기반으로하는 당뇨병 데이터 그럼 우리는보기를 만들 수 있습니다 예를 들어, 그리고 우리는 몇 가지 SQL 쿼리를 수행 할 수 있습니까? 데이터를 QUERY 이상으로 IT 사이트 HDFS의 내부

그래서 이것은 스파크 배열을 사용하고 있습니다 그래서 우리는 어떻게해야할까요? HDFS에 앉아있는 쿼리 데이터, T SEQUEL 사용 우리는 여기에서 볼 수 있습니다 결과

우리는 실제로는 볼 수 없다 나이 간의 강한 상관 관계 그리고 인슐린 수준 지금 기계 학습을 신청하자 이 문제를 해결하기 위해 여기 우리는 기능을 수행하고 있습니다

데이터를 가져 오기 위해 피스톤 사용 설정 및 기능을 사용하십시오 이러한 다양한 기능 우리는 사용 REAK 이쪽은 데이터 세트에 있습니다 여기 아래로 우리는 할 수있다 예측, 그리고 BMI면 보자

또는 신체 질량 지수는 우수합니다 그 여부와 관계없는 프리젠터 누군가는 당뇨병을 갖습니다 너는 그것을 볼 수 없다 설레임, 우리가 알고 있기 때문에 이것은 과학과 무역에 기초를두고 있습니다 이 의사에게 미국인에게 말하기 너의 체중은 확실히 높다

35 번 근처에 더 가깝습니다 그 사람보다 당뇨병이있다 31 세의 BMI 그리고 우리는 다른 사람들과 달리 할 수 ​​있습니다 예측

우리는 할 수있다 당분 수의 임신 수 사람은 좋은 사람이었습니다 당뇨병의 지시자 또는 아닙니다 너는 그것을 볼 수 없다 순전히 숫자 때문에 너무 가까이에있어, 그건 아니야

좋은 소식통입니다 순전히, 그렇지? 이것이 우리가 기계를 사용할 수있는 방법입니다 스파크 바이의 학습 노트북 경험 사용하기 AZURE DATA 내부에 여기에 사진관 결론적으로 요약하자면, 무엇을 우리는 여기에 건설했습니다 IS, FIRST OF 전체, 데이터 가상화 평행 한 컴퓨터를 가진 플래트 홈 그 중 QUERIES

우리는 공유 된 데이터 호수를 만들었습니다 SEQUEL을 사용하여 액세스 할 수 있습니다 또는 스파크, 그리고 우리가 만들었어요 허용되는 인공 지능 플랫폼을 모두 허용하십시오 데이터에서 모든 것을 할 수 있습니다

섭취 저장, TO 트레이닝, 모든 것을 하나로 스코어링하기 시스템, 귀하의 데이터가 절대로 필요하지 않습니다 SQL Server 2019를 크게 벗어나기 당신의 완전을 이루기위한 데이터 클러스터 인공 지능의 파이프 라인 이 주 우리는 그 SQL을 발표했다 SERVER 2019가 공공에 갔다 시사

2019 빅 데이터 클러스터 공공 미리보기에도 사용됩니다 우리는 점진적으로 굴러 가고 있습니다 그것의 부분 고객 당신이 탐구에 관심이 있다면 SQL Server 2019 큰 데이터 출력 클러스터 여기이 양식으로 이동 그리고 서명하고 우리는 ITALY ROLL IT OUT 고객 아주 많이 애용 해줘서 고마워

중지 나는 여기서 여기 온 사람들이다 모서리가 답을 얻습니다 네가 가질 수있는 모든 질문들

Introduction to the Hadoop Technology Stack

Hadoop 기술 스택의 과정에 오신 것을 환영합니다 빠른 입문서가 있습니다

이 과정의 개발자 및 관리자를위한 반경 도움말 기술 우리는 Hadoop 분산 컴퓨팅 프레임 워크의 개념을 살펴볼 것입니다 우리는 Hadoop이 어떻게 작동하는지, 어떻게 그리고 왜 그것이 다른지를 살펴볼 것입니다 전통적인 컴퓨팅 시스템에서 우리는 또한 기업이 처리 할 수있는 대중적이고 유용한 대형 데이터 도구 데이터를 하둡에서 효율적이고 효과적으로 처리 할 수 ​​있습니다 잠재 고객 및 비즈니스 전문가 개발자에게 기술적 혜택 제공 관리자 Hadoop 개발자 및 관심있는 사람 Hadoop이 무엇인지 파악하고 물론 하둡 상용 배포판을 살펴보고 다양한 도구와 Hadoop 시스템을 시작하는 방법을 알려드립니다 빅 데이터 여행을 시작하기에 유용한 비디오 시리즈를 찾아보십시오

수업 내용 전체를 빠르게 살펴보십시오 그래서 여기 제트기는 다음 시리즈에서 기대할 수있는 것의 빠른 스냅 샷입니다 동영상을 보려면 Hadoop을 빠르게 살펴보고 배급의 다양한 머리 어떻게 그들이 가지고있는 나이로 빠르게 깊은 잠수 우리는 전통 건축물에서 모피를 ​​가져 와서 우리가 Hat HDFS 아키텍처 즉, 이름 노드 데이터 노드 보조 노드와 다양한 다른 구성 요소 분산 된 시스템에서의 병렬 교차 (crossing) 다양한 플러그인과 어떻게 원사가 플러그인을 설치하면 MapReduce에 대한 간략한 개요를 볼 수 있으며 MapReduce 애플리케이션을 다른 언어로 작성하는 방법을 살펴보고 우리는 Hadoop으로 데이터를 가져 오는 방법을 살펴볼 것입니다 물을 이해하는 방법을 이해해야합니다 이 다음에 신속하게 들어갈 것입니다 또는 다양한 도구를 특종 flume uz HBase 및 기타 다양한 데이터 가져 오기 도구 우리는 또한 유형에 들어갈 것입니다 아키텍처 하이브 인터페이스 카탈로그 등 우리는 아파치 스톰 스파크 Guzzi보세요 그리고 신속하게 보안 mahout과 좋은 clunk 결론 머리를보고 여기서 어디로 가야 해? 시작하자

감각이 예민해지고 특히 청각이 발달한대서 요리…

감각이 예민해지고 특히 청각이 발달한대서 요리조리 장남감으로 놀아줘봐도 아직은 물소리가 최애 정서발달에 도움되라고 잔잔한 음악을 틀어줘도 눈만 말똥말똥 결국은 물소리에 스르르 눈 감지요 네가 좋아할진 모르겠지만 엄마가 좋아하는 섬집아기랑 꽃밭에서 노래 자장가로 불러줘도 젤 좋은건 물소리겠지 태교할때 자연소리 틀어놓고 자서 그런가 엄마도 좋긴한데 요즘노래 좀 들어보자 유진끄 장유진

여신강림` 야옹이 작가, 누구? #1주년 기념 미모 공개로 온라인 뒤집은 `웹툰여신

웹툰`여신 강림술 야옹이 작가의 인터뷰와 실물이 공개 토론은 연예인의 야옹 작가를 고의로 모들게한다 네이버 웹툰은 지난 25 일 공식 웹 사이트 '여신 강림술'연자 기자와 인터뷰에서 사진을 올렸다

야옹이는 사진 속에서 빼어난 미모와 늘씬한 몸매를 뽐냅니다 야옹이 작가는 지난 4 월 네버 화가 웹툰 '여신 강경'은 3 일 만에 최고로 썼다 웹툰 '여신 강림'은 주인공 임금경이 될 수 있습니다 웹툰`여신 강림`은 세상을 꿈꾸다 지난해 12 월 네이버 계열사 다리 컴퍼니 스튜디오 N '영상화 제작 라인업'여신 강림 '을 발표했다

`남자 친구`,`김비서 왜 그럴까? '등등 야옹이 작가는 1991 년생에도 불구하고 아무런 소용이 없었습니다 야옹이 작가의 실재물 야후이 작가의 SNS 등등을 확인해주십시오 SNS 스타 인이 주인공은 모델 쉐치 외모의 소유자였습니다 야옹이 작가는 인터뷰에서 "SNS에 대한 여신 강경"의 이미지를 해외 웹 사이트에서 보았습니다

감사합니다 "라고 웹 웹 팬들에게 인사했습니다 야옹이 작가는 "만화가의 꿈을 채울 그림 그리기 걸 그 중 피추 모델 경험이 도움이 될 것 같네요 "고지 피팅 모델로 행동했다 이어 야옹이 작가는 "여신 강림"을 생각하면 열심히 그 사람이 생각납니다

오래 전부터 잘 부탁 드린다 항상 감사하다 "고 덧붙였다 야옹이 작가의 실제 사진을 본 누락 된 작가는 "작가를 모방 한 작가", "만화 작가를 실었습니다 잘 생기고 예쁜 사람들이 많습니다

","미모의 작가님 인 줄 몰랐다 작품을보고 싶다 ","그림도 그리다 시다니 이긴다

"달콤+소름" 로맨스릴러 예고한 박해진♥오연서 영화 '치즈인더트랩' 포스터 2종

"달콤+소름" 로맨스릴러 예고한 박해진♥오연서 영화 '치즈인더트랩' 포스터 2종 마운틴무브먼트스토리 [인사이트] 장영훈 기자 = 웹툰 모습과 실물 버전을 담은 두근두근 아슬아슬 로맨스릴러 영화 치즈인더트랩 메인 포스터 2종이 공개돼 기대감을 높이게 한다

1일 제작사 마운틴무브먼트스토리는 화이트데이 개봉을 앞두고 있는 영화 치즈인더트랩 메인 포스터를 전격 공개했다 이날 공개된 메인 포스터에는 완벽하지만 위험한 유정(박해진) 선배와 그의 본 모습을 유일하게 알아본 홍설(오연서) 모습이 담겨 있다 흩날리는 치즈 아래 웹툰 속 유정 선배와 홍설이 실제로 튀어나온 듯한 외모와 옷차림으로 보는 이들의 시선을 단번에 사로잡게 한다 메인 포스터는 웹툰 치즈인더트랩 순끼 작가가 직접 그린 포스터 속 만화 이미지와 완벽한 싱크로율을 자랑한다 특히 설렘 가득한 분위기의 포스터 속 두근두근 아슬아슬 진짜가 나타났다!는 카피는 원작 팬들이 그토록 기다렸던 단 하나의 로맨스릴러가 드디어 관객들을 찾아왔음을 표현해 기대감을 한층 더한다

관객들의 마음에 달달한 봄바람을 불러올 박해진, 오연서 주연의 영화 치즈인더트랩은 3월 14일 화이트데이에 개봉한다

별점 '10점'받으며 웹툰계 좀비 버스터로 떠오른 '좀비딸' 가상 캐스팅 5

별점 '10점'받으며 웹툰계 좀비 버스터로 떠오른 '좀비딸' 가상 캐스팅 5 네이버 웹툰 '좀비딸' [인사이트] 전현영 기자 = 별점 10점의 좀비물 웹툰 '좀비딸'이 영상화되면 어떤 느낌일까

이윤창 작가의 네이버 목요 웹툰 '좀비딸'은 좀비에 감염된 딸 '수아'를 고향 시골로 데려가 숨어 사는 아빠 '정환'과 가족의 이야기를 그린다 이 작품은 여타 좀비물과 달리 코믹적 요소가 듬뿍 들어간 신선한 설정으로 평점 10점을 자랑하며 많은 독자층을 거느리고 있다 '좀비딸'의 가장 큰 매력 포인트는 섬뜩하면서도 유쾌한, 생동감 넘치는 캐릭터다 좀비에게 전염됐지만 공격력이 다소 모자란 수아부터 그런 수아를 혼쭐내는 할머니와 고양이까지 전무후무한 캐릭터로 좀비물의 새로운 장르를 연 '좀비딸'이 드라마 혹은 영화로 만들어지면 어떤 느낌일까

극을 이끄는 캐릭터와 가장 잘 어울리는 배우들을 가상으로 캐스팅해봤다 이정환 – 공유 (좌) 네이버 웹툰 '좀비딸', (우) tvN '도깨비' 이정환은 딸 수아를 홀로 키우는 아버지로, 좀비 바이러스에 감염된 딸을 나라에 들키지 않기 위해 고군분투한다 30대 중반 나이에 홀로 딸을 키우는 쓸쓸한 이미지, 살짝 긴 머리를 가르마로 타서 넘긴 비주얼은 공유와 잘 어울린다

이수아 – 김지영 (좌) 네이버 웹툰 '좀비딸', (우) 싸이더스HQ 중학생 딸 이수아는 좀비에 감염된 나머지 배가 고파질 때면 사람을 물어 버린다 그러나 제대로 공격력을 발휘하려고 할 때마다 할머니 밤순과 고양이 애용이에게 두드려 맞고 혼쭐이 난다 이수아 캐릭터는 어린 시절부터 아역 배우로 연기력을 쌓으며 올해 15살이 된 배우 김지영과 높은 싱크로율을 자랑한다

밤순 – 김영옥 (좌) 네이버 웹툰 '좀비딸', (우) SBS '돌아온 황금복' 수아의 할머니 밤순은 웹툰에서 가장 흥미진진한 캐릭터 중 하나다 밤순은 좀비가 된 손녀 걱정에 눈물을 쏟다가도, 정신 못 차리는 손녀딸을 효자손으로 제압해버리는 카리스마를 발휘한다 눈물 쏟는 절절한 연기부터 랩으로 상대방의 기선을 제압하는 카리스마까지 겸비한 배우 김영옥은 밤순 캐릭터를 누구보다 잘 소화할 듯하다

신연화 – 서현진 (좌) 네이버 웹툰 '좀비딸', (우) SBS '낭만닥터 김사부' 신연화는 이정환의 소꿉친구로 시골 마을에 중학교 선생님으로 부임하게 된다 겉으론 연약해 보이지만, 좀비를 많이 잡아 나라에서 상까지 받을 만큼 호락호락하지 않은 인물이다 청순한 느낌에 강단 있는 내면을 가진 신연화는 절로 배우 서현진을 연상시킨다

청초한 미모를 지녔지만, 똑 부러진 연기를 찰떡같이 소화하는 서현진은 신연화와 잘 어울린다 조동배 – 마동석 (좌) 네이버 웹툰 '좀비딸', (우) 영화 '범죄도시' 조동배는 이정환의 고향 친구이자 가축병원 원장인 인물이다 짧게 깎은 머리에 남다른 체격을 지닌 조동배를 소화할 배우로는 마동석이 제격이다

오늘의 핫뉴스 l 드라마 제작 확정된 웹툰 '여신강림' 여주인공 '임주경' 가상 캐스팅 3

 네이버 웹툰 '여신강림'의 가상 캐스팅 열기가 뜨겁다 '여신강림'은 평범한 여자 주인공 임주경이 메이크업을 통해 미녀로 거듭나는 이야기를 그린 웹툰이다

이는 야옹이 작가의 데뷔작으로 연재된 지 3주 만에 조회 수 1위를 기록할 만큼 폭발적인 인기를 누리고 있다 특히 지난해 '여신강림'의 드라마 제작 소식이 전해진 가운데, 독자들 사이에서는 주인공 임주경의 가상 캐스팅이 화제를 모으고 있다 독자들은 임주경을 두고 그룹 레드벨벳 아이린과 아이즈원 김민주를 가장 많이 거론했다 한없이 다정한 성격을 가진 임주경은 평소에는 여드름이 난 평범한 학생으로 그려진다 하지만 화장을 하고 나면 길거리 남성들의 시선을 한 몸에 받는 '여신'으로 거듭난다

이런 임주경은 살짝 처진 눈매와 긴 생머리를 자랑해 청순한 매력과 뛰어난 몸매를 자랑한다 긴 생머리와 눈부신 미모를 재연하기 위해선 순한 이목구비를 자랑하는 아이린이 적합하다는 평이 주를 이루었다 초롱초롱한 눈망울을 가져 선한 인상을 자아내는 김민주 역시, 볼 때마다 '여신강림' 임주경이 떠오른다는 팬들의 반응이 뒤를 이었다 그다음으로 떠오른 인물은 그룹 AOA 설현이다 설현의 허리부터 골반으로 이어지는 완벽한 S라인은 웹툰에서 그려지는 임주경의 몸매와 똑 닮았다는 평이다

임주경의 매력 포인트를 살린 가상 캐스팅을 본 누리꾼들은 "다들 다른 관점으로 잘 어울리네", "주경이 완벽 재연해줬으면 좋겠다", "누가 됐든 빨리 드라마 해라!" 등 다양한 반응을 보였다

드라마 제작 확정된 웹툰 여신강림 여주인공 임주경 가상 캐스팅 3

드라마 제작 확정된 웹툰 여신강림 여주인공 임주경 가상 캐스팅 3 [인사이트] 김채연 기자 = 네이버 웹툰 '여신강림'의 가상 캐스팅 열기가 뜨겁다 '여신강림'은 평범한 여자 주인공 임주경이 메이크업을 통해 미녀로 거듭나는 이야기를 그린 웹툰이다

이는 야옹이 작가의 데뷔작으로 연재된 지 3주 만에 조회 수 1위를 기록할 만큼 폭발적인 인기를 누리고 있다 특히 지난해 '여신강림'의 드라마 제작 소식이 전해진 가운데, 독자들 사이에서는 주인공 임주경의 가상 캐스팅이 화제를 모으고 있다 독자들은 임주경을 두고 그룹 레드벨벳 아이린과 아이즈원 김민주를 가장 많이 거론했다 한없이 다정한 성격을 가진 임주경은 평소에는 여드름이 난 평범한 학생으로 그려진다 하지만 화장을 하고 나면 길거리 남성들의 시선을 한 몸에 받는 '여신'으로 거듭난다

이런 임주경은 살짝 처진 눈매와 긴 생머리를 자랑해 청순한 매력과 뛰어난 몸매를 자랑한다 긴 생머리와 눈부신 미모를 재연하기 위해선 순한 이목구비를 자랑하는 아이린이 적합하다는 평이 주를 이루었다 초롱초롱한 눈망울을 가져 선한 인상을 자아내는 김민주 역시, 볼 때마다 '여신강림' 임주경이 떠오른다는 팬들의 반응이 뒤를 이었다 그다음으로 떠오른 인물은 그룹 AOA 설현이다 설현의 허리부터 골반으로 이어지는 완벽한 S라인은 웹툰에서 그려지는 임주경의 몸매와 똑 닮았다는 평이다

임주경의 매력 포인트를 살린 가상 캐스팅을 본 누리꾼들은 "다들 다른 관점으로 잘 어울리네", "주경이 완벽 재연해줬으면 좋겠다", "누가 됐든 빨리 드라마 해라!" 등 다양한 반응을 보였다

Big Data Infrastructure in the Cloud with Liftigniter – Stack Chat

MARK MIRCHANDANI : 찾고있는 회사 예측을하려면 방대한 양의 데이터가 필요하며, 복잡한 계산 및 신속한 대응 우리가 LiftIgniter와 이야기 할 때 우리와 함께하십시오

그들이 기계 학습 플랫폼을 어떻게 구축했는지에 관해 Stack Chat의이 에피소드 우리와 함께 해줘서 고마워 LiftIgniter에 대해 조금 더 알려주세요 플랫폼 구축 방법에 대해 설명합니다 VENKAT VENKATARAMAN : 나를 보내 주셔서 감사합니다

LiftIgniter는 실시간 개인화 플랫폼입니다 클라우드에서 실행되는 기계 학습 모델에 의해 구동됩니다 실시간으로 엔드 투 엔드 대기 시간을 의미합니다 약 100 내지 150 밀리 세컨드의 오더로 구성된다 여기에는 네트워크 대기 시간도 포함됩니다

자, 이건 모두 측면에서 진정한 도전입니다 규모와 계산이 사용자가 여러 신호를 추적 가장 관련성 높은 정보를 제공하기 위해 맞춤 추천 우리의 세계관은 각 사람이 독특하다는 것입니다 그리고 매 순간 우리 플랫폼 가장 관련성이 높은 결과에 최적화되어 있습니다 그 때까지 수집 한 모든 신호를 기반으로합니다 MARK MIRCHANDANI : 아키텍처를 보여줄 수 있습니까? 이걸 계속 지키려고 만든거야? VENKAT VENKATARAMAN : 물론입니다

위기에 처한 ML 회사로서 엄청난 양의 데이터, 인프라 비용 우리 사업에 큰 영향을 미칩니다 우리는 세 가지 주요 요소에 집중했습니다 가격, 대기 시간 및 안정성, 다른 사람들과 마찬가지로 이를 강조하기 위해 세 가지 주요 기술을 사용했습니다 워크로드를 기반으로하는 자동 크기 조정 기능을 사용하면 우리는 수평 확장 할 수있는 유연성을 가지고 있습니다

수요가 많은 워크로드 그리고 우리는 자동 스케일 그룹의 조합을 사용합니다 선매 용 인스턴스와 주문형 인스턴스에 대해 우리를 두 번째 요점으로 인도합니다 이는 유연성입니다 우리가 선제 사례를 다음과 같이 사용할 수 있도록 필요하며, 셋째, 이동 옵션 부실하지만 유용한 데이터를 저온 저장 장치에 다시 넣으십시오

비용 절감 속도면에서 보통 네트워크 대기 시간 는 거대한 부분을 가지고있다 그러나 구글의 네트워크는 꽤 활발했다 우리의 경험에서 우리는 많은 구성 요소를 유지할 수있었습니다

충분한 중복성으로 동일한 지역 내에서 가까이에 있습니다 Google의 Footprint를 통해 우리는 서비스를 생성하고 실행할 수 있습니다 모든 고객 대면 서비스 정말 잘 수행하십시오 그리고 우리는 또한 피할 수있었습니다 Google Cloud 덕분에 SLA에 영향을 줄 수있는 모든 중단

MARK MIRCHANDANI : 조금 더 말씀해 주시겠습니까? 추천 시스템이 실제로 구축 된 방법에 대해? VENKAT VENKATARAMAN : 물론입니다 다이어그램은 실제로 단순화 된 아키텍처입니다 도표 우리는로드 밸런서와 프록시를 보여주지 않습니다 그런 것들

그러나 주요 구성 요소와 서비스에만 초점을 맞추고 있습니다 우리가 우리 건축물에 가지고있는 클라우드에 대한 요청은 프런트 엔드 API를 사용하거나 우리는 모델 서버라고 부릅니다 모델 서버는 사용자와 관련이있는 모든 것 활동 및 돌아 오는 추천 결과, 그것이 모델 서버에 의해 처리됩니다 모든 마술이 일어난다 다른 모든 것, 예를 들어, 새 인벤토리 항목 업데이트 또는 생성, 또는 다른 API 호출을 실제로 만들 것입니다

프론트 엔드 서비스를 공격했습니다 이제 프런트 엔드 서비스를 살펴보면 API 전화가오고, 처리가 계속된다 프런트 엔드 컴퓨터에서 발생합니다 그리고 프론트 엔드 서비스는 데이터를 푸시합니다 데이터 저장소에 저장합니다

우리는 파일이나 다른 데이터를 생성합니다 Google Cloud Storage와 같은 일부 데이터 저장소에 저장합니다 또한 다른 데이터 저장소도 있습니다 그리고 GCS는 실제로 이벤트를 트리거합니다 우리가 듣고있는 많은 구독자가있는 Cloud Pub / Sub 그 주제에 관한 메시지

구독자는이를 픽업하고 추가 처리를 수행하며, 도면에 도시 된 예 우리가 재고 시스템을 가지고있는 곳입니다 추가 분석 및 처리를 기반으로합니다 방아쇠가 무엇인지 모델 서버는 전에 말했던 것처럼, 모든 권장 사항과 사용자를 처리하는 활동 추적 그들은 사내에서 많은 처리를합니다

많은 마술이 여기에서 발생합니다 많은 무거운 짐들이 발생합니다 이리– 데이터를 다시 한번 데이터 저장 장치에 저장한다 유사한 메커니즘이 발생하여 이벤트를 트리거합니다 Cloud Pub / Sub로 이동합니다

우리는 청취자가 있습니다 GCS에서 데이터를 선택하는 주제에 대해 추가 처리를 수행하십시오 그리고 다이어그램에 표시된 것처럼이 데이터 이제 BigQuery에 실시간으로 푸시됩니다 여기서 대시 보드는 분석을 위해 BigQuery에서 제공됩니다 여기서 핵심은 우리가 물건을 움직일 수있는 동안이다

빅 쿼리는 실시간으로 BigQuery에 조금 비싸기 때문에 BigQuery에 대한 액세스를 유지하고 싶습니다 우리가 정말로 필요할 때만 그래서 우리는 데이터를 끄는 오프라인 처리가 있습니다 BigQuery의 추가 집계, 이를 캐싱 레이어처럼 작동하는 Cloud SQL로 푸시합니다 따라서 대시 보드는 Cloud SQL의 BigQuery 그들이 얼마나 시간을 거슬러 올라가 느냐에 달려있다

가서 데이터를 수집하고 싶습니다 하단의 상자에는 Spark 클러스터가 표시됩니다 Cloud Dataproc에서 벗어납니다 스파크 클러스터는 기본적으로 모델 튜닝 및 재교육에 사용 더 나은 정확성을 위해 우리는 야간에 실행합니다

우리는 GCS에서 모든 데이터를 수집합니다 우리는 모델을 다시 돌아 다니고 있습니다 그리고 튜닝 파라미터가있는 모델의 결과 전에 있었던 것보다 낫다 우리는 필요한 변경을하고 그 구성을 밀어 낸다 클라우드로 MARK MIRCHANDANI : 자, 이제 한참 지났어

이것을 원래 설계했다 돌아가서 다시 할 수 있다면, 너는 무엇을 다르게 할 것인가? VENKAT VENKATARAMAN : 플랫폼을 설계하기 시작했습니다 기계 학습이 여전히 뜨겁지 않았던 2013 년, 2014 년 빅 데이터는 여전히 그 당시의 일이었습니다 오늘날과 마찬가지로 어렵거나 널리 이용 가능하지 않았습니다

사용 가능한 모든 라이브러리 및 프레임 워크가 있다면 오늘 그때, 그 다음에 빌드 대 구매 결정은 달라졌을 것입니다 우리는 또한 보강 된 지능을 가능하게했습니다 사용자에게 권장 사항에 영향을 줄 수 있습니다 때로는 규칙을 구현할 수도 있습니다 너무 제한적 일 수있는 결국 결과가 줄어 듭니다

이러한 사용자에 대한 사용자 정의를 가능하게하려면, 우리는 색인 생성 솔루션을 연구했습니다 더 나은 결과를 제공합니다 이 중 일부가 뭔가 조사 중이 었어 Elasticsearch와 같이 좋았습니다 하지만 우리만큼 빨리 수행하지 못했습니다

정말 까다로운 대기 시간 요구 사항 때문에 필요합니다 현재 다른 방법을 찾고 있습니다 이를 구축하고 지속적으로 권고 사항을 개선하는 것이 중요합니다 MARK MIRCHANDANI : 세부 사항을 공유해 주셔서 감사합니다 VENKAT VENKATARAMAN : 나의 기쁨

MIRCHANDANI (MARK MIRCHANDANI) : 설정을 시도하려면 Google Cloud Storage에 대한 Pub / Sub 알림, 아래 설명에서 둘러보기를 확인하십시오 시청 해 주셔서 감사 드리며 구독을 꼭하십시오 더 우수한 Google Cloud Platform 콘텐츠를 제공합니다 다음에 스택 채팅에서 보자