[플레이보이 웹툰] 어쩌다플레이보이 #18 "주임님은 왜 연애 안 해요?"

그녀가 아플 때 느끼는 행동 매운 생선 알 스프가 좋았습니까? 네, 정말 그 자리에 섰습니다

미안해, 너없이 가야 해 고마워, 나는 지금 훨씬 더 기분이 좋다 기분이 좋지 않으면 하루 중 나머지 시간을 지울 수 있습니다 thud (음료 캔) honey tea 그리고 가장 중요한 것! 그것을 과장하지 마십시오 자연 법

먹을 게있어 줄래? 자연 스럽네요 오, 고마워요 스탭 엔지니어

둘째, 평판을 돌 봅니다 -> 클릭하여 읽기! PLAYBOY KOREA 조사 / 성격 확인 방법 / 2018 년 11 월 2 일 이렇게하려면 가까운 친지 중 한 명을 타겟팅하십시오 그녀가 신뢰하는 누군가의 승인은 그녀의 새로운 시각을 줄 것입니다 오 이런, 정말? 그것은 중요합니다! 어 허 그녀는 영업부의 김희선 직원 기술자와 이야기하고 있습니다

그녀가 가까이있는 사람들로부터 점수를 받아야합니다 자지 않고 기다리다!! 직원 엔지니어 김 희선입니다! 감사합니다 당신은 확실히 많은 것들을 가지고 있습니다 오 예 We 've는 전에 안녕하세요를 말했다

그러나 결코 정말로 말하지 않았다 우리는 행사장에 판매 선물을 보낼 수는 있지만 우리의 상사는 우리가 두 번 일을하도록합니다

영업 팀 총 책임자는 세심한 것으로 알려져 있으므로 무엇을 할 수 있습니까? 그의 규칙대로 가야 해 그것은 열심히해야합니다 킨다 그러나 그것은 그만한 가치가있다 그리고 그것이 효과가있을 때 기분이 좋습니다

오 물론 나는 그들을 데려 갈 수 있을까? 와, 너는 너무 친절 해 하지만 괜찮아 고마워 그것에 대해 걱정하지 마십시오

조심해 셋째, 자신 만의 기억을 구축하십시오 사무실에서 일하는 곳입니다 당신은 그녀와 함께 먹고 마실 수 있지만 여전히 사무적인 일로 간주됩니다 여러분은 근무 시간 외의 다른 장소에서 추억을 만들어야합니다

그 부서에서 나는 운이 좋은 것 같아 왜냐하면 우리는 함께 통근하기 때문에 그리고 여기에 정말 중요한 것이 있습니다! 그녀의 반응에 항상주의를 기울이십시오! 그러나 필 니는 지만의 충고를 모두 분쇄했다

왜 여자 친구가 없니? 뭐? * 필연적 인 필요성은 마법의 공식을 알지 못합니다 ( '참을 수없는 가벼움'에서 인용) – 계속 될 –

Serverless Big Data Analytics at Traveloka (Cloud Next ’18)

[음악 재생] 어쨌든, 안녕하세요 너희들이 즐거운 시간 보내길 바래

있잖아, 오늘은 셋째 날이야 지난 2 월 1 일 세션을 좋아하길 바래 일 어쩌면 이것은 오늘의 마지막 세션입니다 그래서 우리는 당신을 위해 그것을 간단하고 짧게 유지할 것입니다 그래서 제 이름은 가우 라프 아난드입니다 저는 싱가포르에 본사를 둔 Google Cloud의 고객 엔지니어입니다

인도네시아 사업을 다룹니다 그리고 나에게는 윌슨이있다 Traveloka에서 싱가포르로 그래서 그는이 세션을 진행할 것입니다 그래서 우리가이 세션을 진행하는 방법입니다

우리는 데이터에 대한 소개의 초기 부분을 가지고있을 것입니다 Google Cloud의 분석 패턴 그리고 윌슨은 그의 여정을 나눌 것입니다 데이터 파이프 라인을 구현하는 Traveloka의 여정 그리고 GCP와 Traveloka를 사용한 멋진 것들 괜찮아 그래서 지난 1 년 동안 나는 많은 분석적 지도자들과 이야기 해왔다

나는 많은 어려움을 겪어왔다 큰 데이터의 경우 그래서 가장 – 나는 세 가지 가장 중요한 도전이 있다고 말하고 싶다 자주 올거야, 이것들이야 우리 모두는 거의 모든 데이터 양을 알고 있습니다

기업들은 요즘 생산하고있다 엄청나게 성장했습니다 그리고 그 성장을 계속합니다 따라서 인프라가 필요합니다 비즈니스 성장에 따라 선형 적으로 확장됩니다

아키텍처를 다시 설계 할 필요가 없습니다 또는 귀하의 인프라를 매 3 개월마다, 매 6 개월마다 따라서 인프라의 수준이 필요합니다 자동으로 크기가 조정됩니다 두 번째는 올바른 재능을 찾는 것입니다

기술이 진화 한 방식이므로, 오픈 소스 기술을 본다면 10 년 전의 모습, 지금의 모습, 기하 급수적 인 성장이 있었다 기술 집합에서 그리고 당신 팀이 유능 해 지도록하는 것 모든 기술을 아우르는 도전입니다 알다시피, 3 개월마다 새롭게 떠오르는 것을 보아라 따라서이 또한 가장 큰 도전 중 하나입니다

기업의 직면하고있다 그리고 마지막으로 중요한 것은 비용입니다 따라서 규모가 커짐에 따라 비용이 증가하면서 비용도 증가합니다 규모에 따라 선형 적으로 증가해서는 안됩니다 따라서 일종의 비용 통제가 있어야합니다

인프라를 늘릴 필요가 없습니다 비용과 함께 이제 막 방금 전에 언급 한 것처럼, 지난 10 년 동안, 오픈 소스 생태계는 기하 급수적으로 성장했습니다 사실, 나는 아직도 10 년을 기억한다 다시 말해서 Hadoop을 검색 할 때 당신은 구글에서 공식 아파치가된다

문서 및 아무것도 그리고 네가 그렇게한다면, 알다시피, 수십, 수천 개의 링크와 문서가 있습니다 그리고 이것 저것 따라서 Hadoop, Spark 및 기타 구성 요소 주변의 생태계 진화를 계속합니다 하지만 그것은 또 다른 도전을 불러옵니다

팀이 모든 기술을 배우게하십시오 그런 말로, 단 하나의 기술은 없다 모든 문제를 해결합니다 그러나 이것이 모든 기술을 배우는 것이 필요하다는 것을 의미하지는 않습니다 당신은 그것을 몇 가지로 좁힐 필요가 있습니다

대부분의 사용 사례를 다루고 있습니다 거의, 방안에, 당신 대부분은 이러한 산업 분야 중 하나에 속합니다 현재 업계에서 수직 계열화가 이루어지지 않았습니다 데이터 분석이나 고급 기능이 필요없는 해석학 몇 가지 사용법을 볼 수 있습니다

여러 업계에서 꽤 흔한 사례 그리고 가장 큰 초점은 사용자입니다 윌슨으로부터 오늘 듣게 될 것은 무엇입니까? Traveloka 관점에서, 그들이 개선하는 방법입니다 전반적인 사용자 경험 최종 목표는 제품이있는 경우, 서비스, ​​최종 사용자는보고 싶은 것을보아야합니다 그리고 당신이 그가보고 싶어하는 것이 아닙니다

따라서 Google은 전체 데이터 수명주기를 단순화하려고 노력하고 있습니다 따라서 우리는이 4 가지 도구와 서비스를 제공합니다 기본적인 라인 첫 번째 것은 물론 섭취입니다 사람들이 사용하는 날이있었습니다

일종의 대량 저장 일괄 처리로 많은 양의 데이터 수집 – 예전처럼 1 시간 만에 알다시피, 귀하의 데이터는 [INAUDIBLE] 하루에 한 번, 그런 다음 분석 및보고 기능이 풍부합니다 그것의 위에 달리기 그러나 스트리밍 분석에는 지난 몇 년 동안 재배 된 가장 중요한 구성 요소 중 하나가되었습니다 대부분의 사업

따라서 스트리밍하여 데이터를 수집해야하는 경우, GCP에서 우리의 메시징 버스 인 Pub / Sub를 사용할 수 있습니다 그러나 카프카 또는 다른 메시징 배경에서 온 경우, 당신도 그것을 사용할 수 있습니다 데이터 파이프 라인 및 처리 관점에서 볼 때, Apache Beam을 실행할 수있는 Cloud Dataflow가 있습니다 네가 어떤 일을 겪었을거야 지난 이틀 동안의 세션 데이터 흐름 및 Apache Beam에 대해 설명합니다

그리고 Hadoop 또는 Spark 배경에서 오는 경우, Cloud Dataproc에서 실행할 수 있습니다 데이터 호수 건설에 관해서 데이터웨어 하우스를 구축하거나 BigQuery와 클라우드 스토리지의 두 가지 옵션이 있습니다 BigQuery에서 데이터 호수를 보유할지 여부 선택하기 또는 클라우드 스토리지, 아시다시피, 거기 장점과 단점도 있습니다 물론, 최첨단 분석이 필요합니다 따라서 BigQuery 또는 클라우드에서 데이터를 가져 오면 스토리지를 사용하면 모든 고급 분석을 실행할 수 있으며, 컴퓨터 학습,보고 및 기타 등등

내가 말했던 것처럼 스트리밍 분석 지난 몇 년 동안 많은 중요성을 얻었습니다 그래서 이것은 가장 일반적인 패턴 중 하나입니다 우리는 당신이 사용하는 대부분의 고객을 본다 귀하의 장치, 당신은 귀하의 응용 프로그램 – 웹, 모바일, 이것 저것 그리고 나서 중간에 메시징 버스를 가져옵니다

당신은 Pub / Sub, Kafka, 또는 다른 메시징 버스 그리고 나서 Apache Beam을 맨 위에 사용합니다 변환을위한 데이터 흐름 또는 Spark 또는 다른 오픈 소스를 사용합니다 Dataproc의 구성 요소

그런 다음 데이터를 착륙시킬 수있는 옵션이 있습니다 여러 스토리지 시스템에 분산되어 있습니다 BigQuery는 애널리틱스가있는 경우 가장 많이 사용되는 선택입니다 그 위에보고하는 대시 보드가 많이 있습니다 Bigtable – 많은 시간 계열 분석을 수행해야하는 경우, Bigtable은 매우 훌륭합니다

사실, 가장 흥미로운 사용법 중 하나를 볼 수 있습니다 Traveloka의 사례와 Bigtable을 사용하는 방법에 대해 설명합니다 그리고 서버리스 머신을 배우고 싶다면 서비스에서는 Cloud ML에서 모델을 실행합니다 그래서 윌슨을 다시 데려오고 싶습니다 Traveloka에서 그들이 공중에서 한 일을 나눌 수 있습니다

몇 가지 유스 케이스와 근원적 인 과학 기술 승인 [박수 갈채] WILSON LAUW : 안녕하세요, 여러분 내 이름은 윌슨이야 나는 Traveloka 출신이다

그래서 당신을 위해서, Traveloka를 알지 못하는 손님, Traveloka는 온라인 여행 예약 중 하나입니다 동남 아시아의 기업 온라인 여행 예약 대행사로 시작했습니다 실제로 여러 비즈니스로 확장되었습니다 수년에 걸쳐 오늘 우리가 이야기 할 것은 기본적으로 우리는 Traveloka에 어떻게 데이터가 있는지에 대해 이야기하고 있습니까? 우리가 데이터를 사용하는 방법, 데이터로 문제를 해결하는 방법, 그리고 거래에 대한 우리의 도전은 무엇입니까? Traveloka에있는 데이터

그리고 우리는 또한 당신에게 줄 것입니다 Google Cloud 채택 방법에 대한 간략한 설명 우리의 [INAUDIBLE] 시스템에 마지막으로 중요한 것은 기본적으로 우리가 만난 하나 또는 두 개의 유스 케이스를 공유 할 예정이다 Traveloka에서 어떻게 문제를 해결할 수 있을까요? 우리의 접근 방식 그래서 내가 너에게 나눌 첫 번째 기본적으로 Traveloka의 데이터는 무엇입니까? 그래서 Traveloka는 데이터에 의존하는 회사입니다

우리는 실제로 많은 것을 위해 데이터를 사용합니다 Google은 데이터를 수집하고 의사 결정에 사용합니다 Traveloka에서 비즈니스 분석을 수행하는 경우를 예로들 수 있습니다 또한 데이터를 수집하여 사용합니다 [INAUDIBLE]에 대한 샘플은 [? 메시지?] 시스템, 광고 최적화, 사기 탐지, 그리고 아마도 [INAUDIBLE]

그리고 이것들은 데이터에 대한 우리의 유스 케이스의 일부입니다 그리고 훨씬 더 [부적절한] 우리가 어떻게 데이터를 사용하는지 그리고 이들은 몇 가지 예입니다 우리가 어떻게 데이터를 사용하는지

내가 너에게 나누어 줄 첫 번째 일 Traveloka에서 데이터를 다룰 때 어려움이 있습니다 Traveloka에서 명백한 도전 기본적으로 데이터 자체의 크기입니다 이 [무적]은 그다지 작지가 않습니다 우리는 실제로 하루에 몇 테라 바이트 정도의 데이터를 얻고 있습니다 따라서 전통적인 방식을 사용하여 유스 케이스를 실제로 해결할 수는 없습니다

데이터 기술 그래서 또 다른 것은 Traveloka입니다 여러 비즈니스 라인을 보유하고있는 회사 인 동시에, 우리는 실제로 다양한 데이터 소스를 가지고 있습니다 어쩌면 일부 회사는 한 줄의 비즈니스 – 전자 상거래 또는 여행 예약을 가정 해 봅시다 또는 항공편 예약

Traveloka에서는 여러 비즈니스 라인을 보유하고 있으며, 숙박 예약, 렌터카 예약, 등등 그래서 우리는 여러 팀을 가지고 있습니다 [INAUDIBLE] 같이 일하다 그리고 Traveloka의 데이터 팀으로서, 실제로 모든 다양한 장소에서 데이터를 가져와야합니다 우리의 단일 데이터웨어 하우스에

Traveloka의 [INAUDIBLE] 데이터 기본적으로 데이터를 사용하려는 여러 팀이 있습니다 우리 팀뿐 아니라 또한 모든 유스 케이스가 있습니다 또한 유스 케이스도 처리 할 수 ​​있어야합니다 우리가 해결하고자하는 다음 일 [INAUDIBLE] 시스템입니다 모든 사람이이 데이터를 원하며 시스템을 신뢰할 수있게하고 싶습니다

그들은 시스템을 원하지 않습니다 그들은 시스템이 한 번 재 프로그램되기를 원하지 않는다 매주 또는 매월 1 회 그들은 시스템이 가능한 한 신뢰할 수 있기를 원합니다 그리고 마지막으로, 특히 비용은 가능한 한 합리적이어야합니다

그래서이 모든 도전들을 보아라 우리가 풀고 싶은, 우리가 실제로 왔어 우리가 성취하고자하는 몇 가지 특징을 가지고 있습니다 가능한 한 데이터 대기 시간을 줄이십시오 사건이 일어나 자마자 곧 누군가와 우리 웹 페이지 나 모바일 앱에서 뭔가를한다

BI 데스크에서 사용 가능하고 액세스 가능하도록하고 싶습니다 봇 또는보고, 또는 우리가 가지고있는 다른 유스 케이스 우리가하고 싶은 다음 일 시스템 자체의 [INAUDIBLE]에서 [INAUDIBLE]입니다 따라서 시스템을 사용할 수 있어야합니다 Traveloka는 개발 회사이기 때문에, 우리는 실제로 데이터를 사용하여 회사에서 의사 결정을 내립니다

시스템이 실제로 손상된 경우, 책상 봇 또는보고는 그렇지 않습니다 몇 시간 또는 며칠 동안 사용할 수 있습니다 실제로 Traveloka는 많은 비용이 소요될 것입니다 달성하고자하는 다음 일 기본적으로 우리는 수술에 시간을 보내고 싶다 가능한 한 최소

엔지니어가 시간을 보내길 바랍니다 생산적이고 창조적 인 무언가를 만들어라 응용 프로그램을 디버깅하는 것이 아니라, 로그를 통해, 그리고 실제로 다른 일을하기 다른 방법으로 해결할 수 있습니다 그리고 이것이 우리의 목표입니다 사실, 재미 있습니다

당신이 실제로 초기 데이터 아키텍처임을 보여줍니다 과거에 우리가 가진 것은 실제로는 완전히 앉아있는 것입니다 Amazon Cloud에서 그리고 이것은 과거에 어떻게 생겼는지 간략하게 설명합니다 기본적으로 모바일 앱에서 오는 데이터가 있습니다

또는 바탕 화면 [INAUDIBLE]은 실제로 데이터를 Kafka [INAUDIBLE]에 넣습니다 그리고 나서 우리는 고블린 일자리가 있습니다 실제로 데이터베이스에 데이터를 삽입하려고합니다 [INAUDIBLE] 또는 Spark에서 ETL을 수행하십시오

S3 데이터 호수에이 모든 것을 저장하려고합니다 그리고 우리는 [INAUDIBLE]의 데이터를 저장할뿐만 아니라, [INAUDIBLE] 메시징 버스로 들어오는 데이터, 카프카입니다 우리는 또한 [INAUDIBLE] 또는 MongoDB도 마찬가지입니다 따라서이 방법을 사용하면 데이터 끝 한계가있다 대기 시간을 끝내기 위해서, 실제로는 기껏해야 – 데이터를 위해 할 수있는 최선의 방법 기본적으로 시간 지연입니다

따라서 앱이나 시스템 자체에서 문제가 발생하면 우리는 한 시간 만에 데이터를 얻을 수 있습니다 따라서이 제한을 살펴보면 실제로 우리 시스템을 보려고했다 [INAUDIBLE] 데이터의 로우 엔드에서 엔드 레이턴시에 이르는 유스 케이스를 해결할 수 있습니다 그리고 그것이 실제로 우리가 시도한 방법입니다 처음으로 운동하기

첫 번째 사용 사례는 데이터로 스트림 분석을하는 것입니다 그래서 우리는 Kafka와 Pub / Sub에 우리의 데이터를 [INAUDIBLE] 직접 그리고 우리는 우리의 스트리밍 [INAUDIBLE] 데이터를 직접 전달하고 BigQuery 자체에 직접 데이터를 게시하십시오 이 BigQuery는 BI에 의해 [무관심] 될 것입니다 도구 및보고 도구를 제공합니다

따라서이 방법을 사용하면 실제로 우리가 볼 수있는 수많은 [무적]을 이미 본다 이전 아키텍처에서 첫 번째, 그리고 가장 분명한 것은, 데이터 자체의 대기 시간입니다 이벤트가 발생하자마자 Pub / Sub, Dataflow, 및 BigQuery 몇 초 만에 BigQuery로 이동합니다

데이터로 어떤 일이 발생하면 AB 테스트를하고 있다고 가정 해 봅시다 당신은 캠페인을하고 있습니다 사실 [INAUDIBLE] 데이터를 직접적으로, 이벤트가 발생하자마자 그리고 우리가 여기서 본 다음 일은 기본적으로 Pub / Sub, Dataflow 및 BigQuery이며, 우리가 시도하는 첫 번째 [INAUDIBLE]은 시도입니다 [INAUDIBLE] 따라서 실제로 걱정할 필요가 없습니다

종속성 설치, 라이브러리 설치, 프로비저닝 및 기타 전통적인 기술을 사용할 때 사용하던 기술입니다 두 번째로 눈치 채실 수 있습니다 데이터 흐름에는 내장 된 확장 기능이 있습니다 따라서 실제로 하드 코딩 할 필요가 없습니다 귀하의 스케일링 작업을위한 [비 숙련 된] 부서

실제로 자동 크기 조정 기능을 설정할 수 있습니다 그런 다음 귀하의 [INAUDIBLE] 직업을 기반으로 위 아래로 축척됩니다 오는 트래픽 사실 우리는 작업량을 줄였습니다 우리는 우리 일과 관련이 있어야합니다

BigQuery 자체의 성능은 실제로 이전에 사용했던 우리의 SQL 엔진에 비해 훨씬 좋았습니다 사실 우리가 전에는 [무관심]을 사용했습니다 그래서 우리가 이미 볼 수있는이면을 보면서, 우리는 실제로 Google Cloud의 [INAUDIBLE]을 확장하기로 결정했습니다 우리 도서관 시스템에 이것이 데이터의 다음 단계로가는 방법입니다

인프라는 Google과 같이 복잡해 보입니다 구름 그리고 이것이 실제로 어떻게 고수준처럼 보입니다 따라서 데이터는 실제로 직접 올 것입니다 앱에서 우리가 Kubernetes에서 만든 엔드 포인트까지

실제로 Pub / Sub에 직접 데이터를 저장합니다 이전과 마찬가지로 Dataflow로 이동합니다 BigQuery를 통한 스트리밍 실제로 다른 데이터 흐름 작업도 수행합니다 BigQuery에서 데이터를 변환하는 경우 GCS의 패킷 형식으로 변환합니다 또한 모든 측정 항목을 데이터에 저장합니다

빅 테이블 (Bigtable)에서 나중에 자세히 이야기 할 것입니다 그리고이 모든 [불친절한]은 [무관심한]을 통해 이루어집니다 그리고 당신이 알고 있다면이 모든 것에 대해 좋은 점이 있습니다 기본적으로, 이것 모두는 실제로 [INAUDIBLE] 및 [INAUDIBLE]이 이미 있습니다 StackDriver를 통해

따라서 로그인에 대해 걱정할 필요가 없습니다 라이브러리 또는 메트릭스 라이브러리 (예 : [INAUDIBLE])와 같이 그런 식으로 그리고 우리는 [INAUDIBLE] 더 이상 이 모든 것은 실제로 Google에서 제공하는 서비스이거나 또는 Kubernetes의 [INAUDIBLE]에 배포됩니다 자동 스케일링 기능이없는 다른 기능 기본적으로 Bigtable입니다

그리고 Kubernetes, BigQuery, Dataflow, 펍 / 서브 – 그들 모두는 실제로 요구에 의해 확장 될 수 있습니다 그래서 어떻게 걱정할 필요가 없습니다 BigQuery를 통해 트래픽을 확장 할 수 있습니다 [INAUDIBLE] 연말 연시, 긴 휴일 등) 데이터를 중앙 BigQuery 데이터로 가져온 다음 창고, 우리는 실제로 데이터를 만들었습니다

[INAUDIBLE] Traveloka의 [INAUDIBLE]이 (가) 사용합니다 BigQuery의 창고에있는 단일 프로젝트에서, 우리는 실제로 많은 BigQuery 프로젝트를 만들었습니다 뿐만 아니라 Google Cloud의 다른 프로젝트에 앉아 있습니다 왜 우리가 실제로 그것을 할 것인가하는 것은 기본적으로 우리는 데이터의 허가를 원한다 우리는 가능한 한 [부적절한] 마트가되어야합니다

예를 들어 마케팅에서 왔다고합시다 그래서 저는 저의 수입에 관한 데이터를 가지고 있습니다 이 데이터를 회사에서 공유하지 않기를 바랍니다 따라서 실제로 팀에 개인 데이터를 제공 할 수 있습니다 공유하고 싶은 데이터를 다른 팀과 공유 할 수 있습니다

Traveloka에서 실제로 BigQuery 프로젝트가 하나 있습니다 Traveloka의 각 팀마다 그렇게 효과적으로 그들은 선택할 수 있습니다 어떤 데이터를 회사와 공유하고 싶습니까? 팀에서 비공개로 유지하려는 데이터 그리고 또 다른 이유는 기본적으로 우리가 가지고있는 이유입니다

BigQuery 및 GCS의 데이터, 동일한 데이터 기본적으로 데이터에서 ETL을 수행 할 때입니다 데이터 마트에웨어 하우스, 우리가하고있다 여러 가지 방법으로 ETL 대부분은 BigQuery SQL을 직접 사용하는 것입니다 필터, 조인 및 그룹화와 같은 간단한 변환 더 복잡한 ETL에서는 Dataflow 또는 Spark를 사용해야합니다 예를 들어, 기계 학습 등

Spark로 [INAUDIBLE]을하고 있다면, 사실 스파크가 [INAUDIBLE] BigQuery에서 직접 가져 왔지만 효율성은 BigQuery의 [INAUDIBLE]과 [INAUDIBLE] 데이터 비교 [INAUDIBLE]에서 여전히 일치하지 않습니다 [INAUDIBLE]의 데이터를 [INAUDIBLE] 데이터를 읽는 것보다 훨씬 빠릅니다 이제 BigQuery에서 실제로 BigQuery의 모든 데이터 [INAUDIBLE] 직접적으로 [INAUDIBLE]을 (를) 미러링 할 것입니다 팀의 모든 애널리스트는 실제로 자신의 책상을 만들어라

그리고 데이트 마트에서 그들은 실제로 직접 할 수 있습니다 BigQuery에서 BI 데스크로 데이터 쿼리 봇과 [? mech?] 업무용 데스크 봇 [INAUDIBLE] 보다 그리고 이것은 기본적으로 높은 수준의 것입니다 우리가 너와 함께 할 수있는 [부적절한] 건축 우리가 당신과 공유 할 다음 일은 기본적으로 데이터의 사용 사례 중 하나입니다

플랫폼 그리고 우리가 이것을 [부적절한] 통계라고 부르는 것 우리가 당신과 나누고 싶어하는 Traveloka에서 – 일부는 측정 항목 중 예를 들어, 우리가 하루에 얻을 수있는 것과 같은 데이터의 수 – 하루에 몇 테라 바이트 매일 매일하는 일괄 처리 작업의 수는 60,000 플러스 BigQuery에서 생성 된 작업 수입니다 BigQuery를 사용하는 이러한 작업의 대부분은 실제로 거의 실시간으로 이루어지고 있습니다

따라서 이벤트가 곧 예정대로 진행됩니다 예약이 진행되는 동안 실제로 차트가 업데이트 된 것을 볼 수 있습니다 실시간으로 다음은 기본적으로 고객 데이터 플랫폼입니다 우리가 당신과 공유하고 싶은 유스 케이스 중 하나입니다

우리는 Traveloka에서 분석을 수행합니다 이것은 예제 질문 중 하나입니다 비즈니스 팀 [INAUDIBLE] 또는 다른 팀이 Google 팀에 요청하는 것입니다 예를 들어 특정 고객이 우리 한테서 처음 사 줄래? 우리에게서 마지막으로 구매 한이 남자는 무엇입니까? 그리고 이런 종류의 질문을 본다면, BigQuery를 사용하여이 질문에 쉽게 답변 할 수 있습니다 BigQuery에 모든 데이터가 있습니다

데이터를 쿼리하면됩니다 Bigtable에서 선택한 별표를 만듭니다 사용자 ID별로 정렬하면 대답을 얻을 수 있습니다 하지만 문제는 기본적으로 BigQuery에서만 가능합니다 비트별로 파티션 나누기

BigQuery의 단점 중 하나입니다 그리고 만약 당신이 이런 종류의 질문을하고 있다면, 구매 일 또는 시간 소인을 알지 못합니다 모든 시간 범위를 스캔해야합니다 이 고객을 필터링하고 언제 볼 수 있습니까? 이 고객의 구매 따라서 실제로 불필요한 스캔이 많이 발생합니다

데이터의 그리고 또 다른 것은 기본적으로 BigQuery입니다 분석 데이터웨어 하우스로 설계되었습니다 그래서 그것은 [INAUDIBLE] 스캔을하도록 설계되었습니다 응답 시간이 예상됩니다 몇 초 또는 거대한 조인을위한 1 분 정도 걸릴 수 있습니다

사용 사례에 따라 이러한 답변이 필요합니다 밀리 초 단위로 응답해야합니다 사람들에 의해 잡힐 것입니다 이것은 기계에 의해 호출되지 않을 것입니다 Google은 다른 사용자가 API를 사용할 수 있도록 [INAUDIBLE] 실제로 API를 호출하고 직접 응답을 얻을 수 있습니다

예를 들어, 이것이 우리가 유스 케이스를 실제로 어떻게 해결했는지, 우리는 BigQuery뿐만 아니라 Bigtable에도 데이터를 넣으십시오 그래서 우리는 Kubernetes에서 API를 개발했습니다 Traveloka에있는 우리 팀에 소개했습니다 예를 들어, 우리 비행 팀, 호텔 팀, 숙박 시설, 그들은 우리의 API를 호출 할 수, Google API는 실제로 Bigtable 또는 BigQuery를 쿼리합니다 그 (것)들을위한 응답을 얻는

Bigtable을 사용 사례로 사용하는 이유는 무엇입니까? 몇 가지 이유 때문입니다 우선 기본적으로 우리는 모두를 원합니다 [INAUDIBLE] 스캔을해야합니다 이것은 실제로 우리가 뭔가를 사용할 수없는 이유 중 하나입니다 아파치 카산드라

내가 아는 한 간단한 키 값만 수행 할 수 있습니다 우리는 실제로 그것보다 훨씬 더 많은 능력을 필요로한다 다른 하나는 동적 열을 수용 할 수 있어야한다는 것입니다 그리고 가능하다면 우리는 그것이 많은 것이되기를 원합니다 표면

?] 그냥 빅 테이블이 우리에게 제공 할 수 있습니다 또한 [INAUDIBLE] API에 익숙하지만 어떤 [INAUDIBLE]의 오픈 소스 [INAUDIBLE] API입니다 그리고 많은 사람들이 이미 이런 종류의 API에 익숙합니다 이제 예제 데이터에 대해 살펴 보겠습니다

우리가 대답 할 Bigtable의 모델링 그런 종류의 질문 예를 들어 Bigtable의 테이블 일부입니다 그리고이 특정 고객이 언제 구매했는지 평가하러갔습니다 우리에게서 처음으로 그래서 우리는 실제로 이런 종류의 데이터 모델링에 데이터를 저장했습니다

우리는 실제로 사용자 ID를 접두어로 사용했습니다 그리고 우리는 이벤트의 타임 스탬프와 함께 추가합니다 따라서 이벤트는 [INAUDIBLE] 일 수 있습니다 이런 종류의 테이블의 경우 이벤트는 구매입니다 값은 구매의 [INAUDIBLE]이며, 그가 우리 나 호텔에서 비행기 표를 사든 바우처 또는 무엇이든

BigQuery는 Essbase와 비슷합니다 미안, 빅 테이블 그들은 정렬 된 방식으로 데이터를 저장합니다 데이터를 저장하기 위해 키를 해시하지 않으며, 당신이 아파치 카산드라와 그것을 비교한다면 그러면 데이터를 저장하게 될 것입니다

이런 비슷한 이 경우 세 개의 사용자 ID 인 A, B 및 C가 있습니다 그리고 뒤에있는 숫자는 사건의 타임 스탬프입니다 당신의 데이터는 이와 같이 정확한 순서로 저장됩니다 사용자 ID, 시간 소인 및 구매입니다

그래서 당신이 이런 데이터 모델을 가지고 있다면 너 내가 원하는 것에 관한 질문이있어 언제이 남자가 우리에게서 처음 사는지 아는 것 그래서 우리가 할 수있는 것은 기본적으로 간단한 키 값을 할 수 없다는 것입니다 우리가 타임 스탬프를 알지 못하기 때문에 가져온다 우리가 할 수있는 것은 기본적으로 우리가 할 수있는 것입니다

테이블에 대한 [INAUDIBLE] 스캔을 정의하십시오 우리는 [INAUDIBLE] 스캔을 정의 할 수 있습니다 우리는 사용자 ID를 알고 있기 때문에, 하지만 우리는 타임 스탬프를 모른다 예를 들어 타임 스탬프로 0을 넣으면됩니다 원거리 스캔을 할 때 우리는 첫 번째 행을 가져올 것입니다

최소 시간 스탬프 만 있습니다 그리고 당신은 당신의 알파벳순을 가지고 있습니다 우리는이 고객이 무언가를 샀을 때 처음 우표를 찍었습니다 우리로부터 또 다른 비슷한 문제는 기본적으로 특정 고객이 우리에게서 마지막으로 구매 한 시간입니다

이러한 종류의 동일한 데이터 모델이 Essbase와 함께있는 경우 아래쪽에서 역 스캔을 할 수 있습니다 사용자 ID를 지정하십시오 이론적으로는 마지막 시간 스탬프를 얻으십시오 그러나 Bigtable은 실제로 그렇게 할 수 없습니다 Bigtable은 실제로 API와 호환되지만, Bigtable에서 지원할 수없는 작은 것들이 있습니다

그 중 하나는 역방향 스캔입니다 그래서 우리는 실제로 작은 일을해야합니다 이러한 질문에 대답 할 수 있어야합니다 이것이 우리가 이런 종류의 문제를 해결 한 방법입니다 그래서 우리는 열쇠를 바꿨습니다

사용자 ID와 실제 시간 소인을 사용하는 대신, 실제로 사용자 ID와 타임 스탬프를 사용했습니다 최대 시간 소인으로 변경했습니다 타임 스탬프 자체를 뺀 당신이 모든 열쇠에 대해 그렇게한다면, 당신은 당신의 데이터로 끝날 것입니다, 그러나 내림차순으로 정렬됩니다 첫 번째 행은 마지막 구매 일 것입니다 마지막 행이 첫 번째 구매 항목이됩니다

그리고 이미 이런 종류의 데이터 모델을 가지고 있다면, 당신은 실제로 [INAUDIBLE] 같은 것을 할 수 있습니다 배열 스캔을 할 수 있고, ID를 지정할 수 있으며, 마지막 구매로 첫 행을 얻습니다 사람과 그 세부 사항의 그리고 이것은 [불친절]의 한 예입니다

우리가 빅 테이블에서하는 일 그리고 Bigtable을 사용하여 몇 가지 사례를 추가로 제공합니다 그러나 우리는 오늘 그것을 공유하지 않을 것입니다 그리고 다음으로 우리는 당신에게 Traveloka 사용을 보여줄 것입니다 사례는 데이터 품질 및 이상 프레임 워크에 관한 것입니다

우리가 Traveloka에서 한 것 그렇다면 데이터 품질 자체는 무엇입니까? 데이터 품질이 필요한 이유는 무엇입니까? Traveloka에서는, 내가 전에 언급했던 것처럼, Traveloka는 여러 비즈니스 라인을 운영하는 회사입니다 따라서 데이터는 실제로 한 소스에서만 나오지 않습니다 여러 소스 및 여러 스트림에서 발생합니다 그래서 모든 것이 원활하게 진행된다면, 데이터가 올바른 데이터로 직접 전달됩니다

하지만 뭔가가 일어나면 하자 누군가 새로운 버전을 실제로 배포한다고 말하십시오

누군가 [비공식] 앱 등입니다 그리고 그들은 추적을위한 코드를 넣는 것을 잊어 버렸습니다 데이터가 멈 춥니 다 또는 데이터가 오지 만 [INAUDIBLE] 등입니다 그리고이 모든 것이 실제로 많은 문제를 일으킬 수 있습니다

예를 들어, [INAUDIBLE] 프로세스 실제로 전혀 실패 할 수 있습니다 보고서를 볼 수 없습니다 책상 봇에 나타납니다 또는 여전히 성공했지만 보고서, 전화 번호 분명히 틀릴 것이다 그리고 가장 위험한 것은 기본적으로 당신이 그것을 모르는 것입니다, 그러나 그것은 일어나고있다

당신은 당신의 탁상 로봇을 신뢰합니다 번호가 정확하다고 생각 하시겠습니까? 그러나 실제로 그것은 틀립니다 실제로 잘못된 데이터를 사용하여 의사 결정을 내리고 있습니다 그리고 실제로이 문제를 어떻게 해결할 수 있습니까? BigQuery에서 모든 데이터를 보유하고 있기 때문에 대부분 구조화 된 데이터입니다 테이블이 있고, 컬럼이 있습니다

각 열은 고유 한 데이터 유형을가집니다 예를 들어,이 표에는 몇 개의 열이 있습니다 먼저 문자열 열과 정수 열이 있습니다 각 열 자체에는 자체 메트릭이 있습니다 예를 들어, 문자열 열 – 우리는 실제로 실제로 무엇을 알 수 있습니다

이 칼럼의 가치가없는 값의 비율입니다 이 열의 고유 한 가치는 무엇입니까? 및 기타 측정 항목도 포함됩니다 실제로 각각에 대한 모든 측정 항목을 수집하는 경우 기둥들 가운데 몇 개를 수집하고 시간이 지남에 따라 수집합니다 당신은 테이블을위한 일련의 시계열로 끝날 것입니다 그래서 하나의 테이블을 위해, 당신은 숫자 [개발 불가]를 개발할 수 있습니다

분명한 것은 테이블의 행 수입니다 다음은 기본적으로 각 열입니다 자체 측정 항목이 있습니다 샘플의 경우 [INAUDIBLE] 열 (예 : 국가) 당신은 별개의 국가들의 수를 가지고 있습니다

실제로 많은 null 국가를 보유하고 있습니다 따라서 이미 테이블에서 이러한 모든 측정 항목을 얻은 경우, 실제로 이러한 측정 항목을 참조하여 귀하의 표가 맞다 예를 들어, 이러한 종류의 측정 항목이있는 경우, 너는 실제로 발견 할 수있다 데이터가 전혀 중단되었다고 가정 해 봅시다 행 수를 알아 차릴 것입니다

실제로 떨어지고있다 또는 누군가가 귀하의 모바일 앱 [부적절한 앱]이라고 가정 해 보겠습니다 그리고 국가에 코드를 넣는 것을 잊어 버렸습니다 그래서 모든 나라는 null이됩니다 그러나 평상시에는 10 개국이 있습니다

[INAUDIBLE] 데이터에 – 싱가포르, 인도네시아, 말레이시아 등이 있습니다 갑자기 언젠가는 두 나라 만 있습니다 그리고 당신은 무언가가 일어나고 있다는 것을 압니다 어쩌면 그 숫자가 틀렸을 수도 있고, 다른 어떤 것 진행되고있다 따라서 데이터의 모든 메타 데이터를 보유함으로써, 당신은 실제로 당신의 테이블에서 당신의 시계열을 분석 할 수 있습니다

그리고 그것은 당신의 데이터가 어디서 온 것인지를 상기시켜줍니다 그리고 이것은 실제로 우리의 접근 방식을 구축 한 방법입니다 이것을 해결하기 위해 이전에 사용한 것과 동일한 BigQuery입니다 모든 원시 데이터를 포함합니다

그리고 BigQuery의 성능을 [부적절]합니다 BigQuery 자체에서 데이터 측정 항목을 수집합니다 그래서 우리는 실제로 다른 클러스터를 회전시킬 필요가 없습니다 [INAUDIBLE] 클러스터, 실제로 다른 [INAUDIBLE] 클러스터 우리를 위해 무거운 짐을 다하십시오 BigQuery를 사용하여 모든 검색어를 수집합니다

SQL [INAUDIBLE] ,, 빅 테이블에 저장, [INAUDIBLE] 분석에 사용하십시오 그리고 당신은 이것을 [무관심] 한 후에, 당신은 실제로 당신의 [무관심] 단일 접근법 또는 몇 가지 접근법을 사용하는 시계열에서 예를 들어, 실제로 [무관심]을 할 수 있습니다 표준 편차 또는 Facebook [INAUDIBLE] ,,에서 라이브러리를 사용할 수 있습니다

실제로 시계열 분석입니다 페이스 북에서 파이썬으로 그리고 당신이 사용할 수있는 다른 라이브러리 이런 종류의 [INAUDIBLE] 분석을 사용함으로써, 당신은 실제로 당신의 특정 테이블, 또는 테이블의 특정 열이 잘못 작동합니다 실제로 이것이 모든 유스 케이스를 다루지는 않지만, 실제로 대부분의 유스 케이스를 커버 할 것입니다

우리가 만나는 곳 그리고 실제로 우리를 많이 돕고 있습니다 우리가 이미 볼 수있는 영향 기본적으로 데이터가 가능한 한 빨리 잘못되었음을 알 수 있습니다 이전에는 데이터가 잘못 되었다면 어떤 일이 발생했는지 알 수 없습니다 우리는 데이터가 이해 관계자로부터 잘못되었음을 압니다

이해 관계자는 책상 봇을보고 BI 도구를보고, 그들은 이메일을 보았고 숫자가 분명히 틀렸다는 것을 알았습니다 또는 번호가 전혀 표시되지 않습니다 그리고 그들은 우리 팀에게 이봐, 너에게 무언가가 일어나고 있다면 시스템으로 무엇인가를 확인하십시오 그래서 이런 종류의 시스템을 구현함으로써, 우리는 실제로 데이터가 가능한 한 빨리 잘못되었다는 것을 알고 있습니다 실제로 하위 사용자에게 데이터를 알릴 수 있습니다

데이터 문제는 어디에서 발생합니까? 아니면 거짓 경보인지, 또는 뭔가 일어나고있다 그리고 그것은 당신의 팀을위한 당신의 신뢰성을 만들 것입니다 사람들은 실제로 오는 응답을 신뢰할 수 있기 때문에 이전 팀보다 훨씬 잘 팀에서 그들은 보고서를 얻을 수 있지만 이 번호가 맞는지 아닌지를 신뢰하십시오 따라서 이것이 우리가 사용하는 사례 중 하나입니다

[부적격] in Traveloka 그리고 우리가 공유 할 다음 일은, 우리가이 모든 것을 구현할 때 얻은 교훈입니다 첫 번째는 이것입니다 BigQuery는 뛰어난 성능을 제공합니다 특히 원시 데이터로 SQL 분석

대부분의 사용 사례, 특히 대부분의 BI 사용 사례의 경우, 실제로는 SQL을 사용하여 해결할 수 있습니다 주로 그룹 별, 조인, 필터 등을 사용합니다 데이터 흐름 및 구성 요소의 자동 크기 조정 기능 Pub / Sub, BigQuery, Kubernetes, 그것은 우리에게 정말 유용합니다 당신은 큰 기간에 대해 걱정할 필요가 없습니다 네 연말 – 당신은 당신의 [INAUDIBLE]을 확장해야합니다

그것은 과거의 모든 것입니다 Pub / Sub와 같은 Google 클라우드의 [INAUDIBLE] Kubernetes 및 기술 자체 모든 기본 제공 [INAUDIBLE] 스택 드라이버 따라서 모든 측정 항목이 자동으로 유입됩니다 구현에 대해 걱정할 필요가 없습니다 자신의 [INAUDIBLE] 시스템 또는 자신의 로깅, [INAUDIBLE]을 다른 시스템에 사용합니다

그들 모두는 당신을 위해 직접 사용할 수있게 될 것입니다 따라서 실제로 디버깅을 할 수 있습니다 귀하의 신청서에 뭔가가 일어나고있는 경우 BigQuery에서 CPU 요구, 쿼리를 모니터링 할 수 있습니다 어떤 일이 느리게 진행되고 다른 일이 발생하면 그리고 나는 이것이 내가 어느 정도 전부라고 생각합니다

오늘 당신과 함께 나누고 싶습니다 그리고 저는 그것을 Gaurav에게 돌려 줄 것입니다 감사 GAURAV ANAND : 좋습니다 [박수 갈채] [음악 재생]

Rethinking Big Data Analytics with Google Cloud (Cloud Next ’18)

[음악 재생] 신사 숙녀 여러분, 안녕하세요 Sudhir Hasbe를 환영합니다

[박수 갈채] 안녕하세요, 안녕하세요 나는 Surhir Hasbe입니다 저는 데이터 분석 및 GCP 제품 책임자입니다 이 세션에 참석해 주셔서 감사합니다 나는 그것이 점심 식사 후 또는 점심 시간 전후 인 것을 안다

그래서 나는이 세션에서 당신을 너무 지루하게하지 않기를 바랍니다 우리는 계속 흥미로워 질 것입니다 세션을 시작해 봅시다 중요한 것은 대부분의 사람들입니다 관객의 외부는 검색 창에서 Google을 알고 있습니다

그리고 사람들이 Google과 처음 접하는 경험은, 검색 창으로 이동하고, 용어를 검색하고, 흥미로운 결과가 나옵니다 당신이 찾고있는 사실, 뒤에서, 언제 당신은 수색 상자에 아무거나를 찾는다, 인프라가 많이 있습니다 이미 많은 분석이 진행 중입니다 우리는 가장 큰 조직 중 하나입니다 엄청난 양의 데이터를 수집하고, 그것을 분석하고 그것을 사용합니다

그래도 검색뿐이 아닙니다 보시다시피, 우리는 7 가지 이상의 제품을 가지고 있습니다 오늘 기조 연설에서 드라이브로는 여덟 번째 드라이브가있을 수 있습니다 80 억 명의 사용자, 월간 활성 사용자, 앞으로 여기서 핵심은 우리의 DNA에 큰 데이터가 있다는 것입니다

우리는 데이터를 활용합니다 우리는 기계 학습을 활용하여 이러한 모든 제품에 놀라운 경험을 제공합니다 우리가하는 일은 내부 기술을 통해서입니다 우리가 만든 것 Dremel에 대해 생각한다면, 우리는 모든 분석을 위해 내부적으로 사용합니다

BigQuery는 실제로 엔터프라이즈 버전입니다 기술의 그 동일한 조각의 기업에서 사용할 수 있습니다 여기에서 우리가하는 일은 기술을 가져 오는 것입니다 우리가 수년에 걸쳐 투자하고 클라우드 고객에게 제공됩니다 생각해 보면 전 세계의 데이터가 커지고 있습니다

2025 년에는 163 제타 바이트가 될 것입니다 조직 내에서 데이터 세트가 증가함에 따라, 인프라가 필요합니다 당신은 실제로 분석 능력을 갖기를 원합니다 그 양의 데이터를 처리하십시오 데이터 포인트 중 하나 – 고객 중 한 명 정말로, 그들이 데이터를 시작했을 때 컬렉션 및 스트리밍 분석 양방향 항공, 그들은 하루에 5 천만 개의 이벤트를 수집하는 데 사용되었습니다

이제 그들은 18 개월 내에 최대 50 억입니다 따라서 어떤 일이 발생하는지는 데이터에서 가치를보기 시작하면서, 당신은 점점 더 많이 수집 할 것입니다 하지만 능력과 인프라를 원한다 필요에 따라 실제로 원활하게 확장 할 수 있습니다 조직 내에서 마찬가지로 조사가 완료되었습니다

MIT 조사는 기계 학습과 인공 지능 (AI) 사용중인 고객 수, 진행 상황 중요한 것은 조직 실제로 AI를 사용하는 사람들은 2 배 빠르게 할 수 있습니다 의사 결정, 5 배 빠른 결정 2 배 더 많은 데이터 중심 의사 결정을 할 수 있습니다 조직 내에서 그리고 또한 그들이 내리는 결정에 대해 3 배 빠른 실행 전반적으로 생각하면 기계 학습, AI는 모든 조직에서 매우 중요합니다

그리고 핵심 포인트는, 조직이 분석을 잘하지 못하는 경우, AI에서는 결코 위대한 존재가 될 수 없습니다 그래서 첫 번째, 기초 – 분석 데이터를 기반으로해야합니다 어떻게 데이터를 처리합니까? 어떻게 데이터를 분석합니까? 그리고 나서 어떻게 진행되는지 생각할 수 있습니다 해당 데이터를 바탕으로 기계 학습을 수행하고 활용할 수 있습니다 차별화를위한 AI

비록 숫자를 보면, 1 % 세계의 구조화되지 않은 데이터는 실제로 오늘날 분석 및 분석에 사용됩니다 오늘 분석 된 구조화 된 데이터의 50 % 미만 조직 내에서 그래서 우리의 접근 방식은 무엇입니까? Google을 보면, 우리는 무엇을하고 있습니까? 네 가지 핵심 요소가 있습니다 하나는 인프라 또는 솔루션에 초점을 맞추고 있습니다 당신이 나가서 분석에 집중할 수있게 해줍니다

하부 구조 우리는 그것에 대해 더 이야기 할 것입니다 두 번째는 포괄적 인 솔루션을 개발하는 것입니다 따라서 우리는 고객이 솔루션의 전체 포트폴리오를 필요로한다는 것을 알고 있습니다 계속해서 분석을해라

우리는 엔드 투 엔드 (end-to-end), 모든 구성 요소 너는 필요해 종단 간 ML 수명주기를 살펴보고이를 빠르게 살펴 보겠습니다 그리고 나서 혁신적이고 개방적입니다 열린 구름이되어 오픈 소스 소프트웨어 옵션 제공 작업 부하를 당신과 같은 방식으로 실행할 수 있습니다 달리기를 원한다면 우리에게 매우 중요합니다

우리에게는 우리가하는 많은 투자가 있습니다 우리가 그것을 장려하는지 확인합니다 분석적 수단에 초점을 맞추는 것에 대해 이야기 해 봅시다 인프라가 아닙니다 네가 우리에 관해 생각한다면 – 분석을한다면 Google의 클라우드 스케일 인 BigQuery [INAUDIBLE] 제품을 사용하면 몇 초 안에 시작할 수 있습니다

기본적으로 데이터 세트를 가져올 수 있습니다 즉시 분석을 시작하십시오 핵심은 서버리스 제품을 사용하지 않는 경우입니다 BigQuery 또는 Dataflow처럼 모니터링에 대해 걱정해야한다 실적에 대해 걱정해야한다

튜닝, 인프라 얼마나 많은 노드가 필요합니까? 어떤 종류의 클러스터 크기가 필요합니까? 퍼포먼스 튜닝은 어떻게합니까? 그게 문제가되는 건 아니야 serverless에 집중했다 이것이 우리의 초점입니다 인프라를 제공하고자합니다

자동 저울링, 분석 능력 제공, 너는 무엇이든에 관하여 고민 할 필요 없다 데이터를 가져 와서 분석을 시작하십시오 두 번째 요점에 대해 이야기 해 봅시다 엔드 – 투 – 엔드 종합 솔루션입니다 중요한 점은 분석에 대해 생각하면, 그것은 실제로 섭취로 시작됩니다

데이터를 얻으려면 어떻게해야합니까? 첫 번째 단계는 스트리밍 데이터를 얻는 방법입니다 방대한 양의 스트리밍을 사용하는 고객이 많습니다 그들에게 오는 사건들 그리고이 인프라를 어떻게 완벽하게 확장합니까? 그래서 Cloud Pub / Sub는 우리의 솔루션입니다 초당 수백만 개의 이벤트를 수행 할 수 있습니다

그 (것)들에 당신은 수집하고 분석을 할 수있다 마찬가지로 많은 고객 예를 들어, 애드워즈 및 DoubleClick과 그 모든 기능, 광고 목적으로 우리가 한 일은 우리가 고객을 위해 정말 쉽게 만들었습니다 누가 마케팅 분석을 위해 Google Cloud를 사용하고 싶은지 몇 번의 클릭만으로 문자 그대로 애드워즈 데이터, DoubleClick 데이터, 분석을 위해 BigQuery에 추가합니다 마찬가지로, IoT는 매우 중요합니다

어제 아침 놀라운 소식을 봤어 HTPU 및 Cloud IoT 코어를 사용합니다 우리는 Cloud IoT 코스를 가지고 있습니다 IoT 데이터 수집에 관심이 있다면, 당신은 그것을 완벽하게 수집 할 수 있고 실제로 거기에서 전체 플랫폼을 활용하십시오 그래서 우리는 섭취를 다루었습니다

안정적인 데이터 처리 및 스트리밍에 대해 생각한다면 우리는 고객에게 다양한 옵션을 제공합니다 하나는 Beam을 사용한 데이터 흐름입니다 그래서 Beam은 당신을위한 오픈 소스 SDK입니다 배치 및 스트리밍 파이프 라인 구축 동일한 프로그래밍 모델로 데이터 흐름을 사용하면 대규모 데이터 처리를 자동으로 구축 할 수 있습니다 파이프 라인

개발자에게 아주 좋습니다 그러나 우리는 또한 많은 고객들이 Spark 및 Hadoop으로 자체 기능을 보유하고 있습니다 그리고 그들은 스파크를 좋아합니다 이전에 Spark를 사용 했었습니다 그래서 저는 스파크도 좋아합니다

그래서 우리는 Hadoop과 Spark 환경을 관리했습니다 데이터 블록으로 그리고 나서 분석가들을 위해 – 우리는 알고 있습니다 데이터에 익숙한 많은 분석가 커뮤니티가 또한 원시 데이터 논쟁을 원한다 또한 데이터 준비를 원한다

데이터가 있기 전에 그들이 가장 잘 알도록 그들이 원하는 분석을 사용했다 데이터를 처리하고 정리합니다 그래서 우리는 이러한 고객을 위해 Cloud Dataprep을 보유하고 있습니다 그 후에 데이터가 준비되면, 당신은 규모에 대한 분석을 원합니다 데이터 호수를 만들고 싶습니다

실제로 GCS, Google Cloud Storage, 계속해서 모든 구조화되고 체계화되지 않은 데이터를 저장하고, 그런 다음 처리하십시오 또는 BigQuery와 함께 Cloud Scale 데이터웨어 하우스를 사용할 수 있습니다 이 모든 데이터를 페타 바이트 단위로 저장하려면, 그 위에 분석을하십시오 일단 분석 플랫폼이 준비되면 고급 분석을 위해 ML 엔진, TensorFlow를 사용할 수 있습니다 시각화를 위해 Data Studio를 사용할 수 있습니다

우리는 몇 가지 새로운 개선 사항을 보게 될 것입니다 그것들을 이용할 수있게 만들고 있습니다 또한 Sheets, 많은 고객, 특히 매일 시트를 사용하는 G Suite 고객 – 우리는 BigQuery 및 기타 장소에서 데이터를 쉽게 만들 수 있습니다 오늘 이용 가능합니다 그래서 거기에 있습니다

ML 수명주기에 대해 생각한다면 – 전체 라이프 사이클이 있습니다 ML 라이프 사이클은 섭취에서 시작됩니다 당신은 탐험해야합니다 준비를해야합니다 당신은 전처리를해야합니다

그런 다음 교육 과정, 하이퍼 튜닝, 테스트, 및 예측 일어날 수있는 전체 라이프 사이클이 있습니다 우리가 제공하는 것은 전체 제품군입니다 당신이 할 수있는 제품의 그 모든 프로세스 하지만 우리가하고있는 일은 매우 쉽습니다

당신이 기계 학습을 할 수 있도록 그리고 당신은 몇몇 발표를 들었습니다 우리는 오늘 일찍했다 그리고 좀 더 자세하게 설명하겠습니다 실제로, 우리는 당신을위한 놀라운 데모를 가지고 있습니다

세션에서 나중에 고객 모멘텀 관점에서 볼 때, 그것은 우리의 포트폴리오입니다 우리는 데이터 분석에서 엄청난 성장을보고 있습니다 고객과 함께하십시오 업계 전체의 전체 포트폴리오를 사용하는 많은 고객 금융 서비스에서의 수직 소매업, 게임에서 미디어 엔터테인먼트, 모든면에서 제조

전반적으로 우리는 엄청난 성장을보고 있습니다 사용중인 데이터 분석 기능 다른 조직에서 그리고 다른 크기의 데이터 세트에도 적용됩니다 오늘 일찍 들었습니까? [부적절한] 대규모 Hadoop 배포를 옮기는 것에 대해 이야기했습니다 나는 그것이 300 페타 바이트의 데이터를 언급했다고 생각한다

GCP로 이동하고 해당 규모의 클러스터를 실행합니다 그리고 하이라이트는 우리 네트워크와 우리의 능력과 같았습니다 네트워킹 스택과 함께 제공되는 당신이 스토리지 분리 정말 쉽게 관리 할 수있는 컴퓨팅 전체 환경, 비용 및 모든 것을 줄일 수 있습니다 우리는 엄청난 성장을보고 있습니다 트위터, 야후 스, 뿐만 아니라 많은 기업 고객 플랫폼을 사용하고 있습니다

그래서 저와 함께 Aireen Omar를 초대하겠습니다 AirAsia의 부회장, 무대에서 이것에 대해 더 많이 말하기 [박수 갈채] 안녕하세요, 아이린, 잘 지냈니? AIREEN OMAR : 안녕하세요, 감사합니다 네가 빨리 소개 할 수 있니? 당신, 당신의 역할에 대해 이야기하고, AirAsia에 대해 좀 더 알려주십시오 AIREEN OMAR : 물론입니다

AirAsia는 아시아 최대의 저비용 항공사입니다 그래서 우리는 2001 년에 다시 시작했습니다 우리는 단지 2 대의 항공기를 가지고 있습니다 우리는 약 2 만명의 승객을 태웠다 그리고 지금, 16 년 후 우리는 230 대 이상의 항공기를 보유하게되었습니다

와우 와우 AIREEN OMAR : 그리고 수년 동안, 우리는 5 억 명이 넘는 승객을 태웠다 올해는 약 1 천 9 백만 명의 승객을 찾고 있습니다 우리가 1 년에 들고 다니는 것

그래서 우리는 매우 빠르게 성장했습니다 우리는 동남 아시아에 기지를두고 있습니다 동남 아시아, 아세안은 우리의 뒷마당입니다 그리고 왜 우리가 시장을 구축하는데 집중했는지 6 억이 넘기 때문에 인구는 중국과 인도 다음으로 세 번째로 많습니다 그리고 그것은 매우 젊은 인구 기반을 가지고 있습니다

평균 나이는 28 세, 29 세입니다 인구의 50 %가 30 세 미만입니다 70 %는 40 세 이하입니다 인구의 50 %가 도시 지역에 살고 있습니다 그리고 그것은 가장 빠르게 성장하는 것 중 하나입니다

세계 GDP와 급성장하는 중간 소득 중 하나 세계의 수입자 SS의 저가 항공사가 환상적인 기회를 누릴 수있는 곳입니다 인구와 함께 성장할 수 있습니다 그리고 당신이 지형 경관을 본다면 동남 아시아의 경우 물로 둘러싸여 있습니다 그리고 그것은 우리가 배울 수있는 많은 기회가 있다고 생각하는 곳입니다

인구에 대해, 더 성장하고 차별화 된 비즈니스 기회 항공사를 운영하는 것에서 SUDHIR HASBE : 엄청난 성장 2 비행기에서 230 비행기로 2 ~ 3 년 안에, 지금 AIREEN OMAR : 네 SUDHIR HASBE : 직면 한 주요 도전 과제는 무엇입니까? 그런 다음 무엇에 대해 자세히 알려주십시오 비즈니스 과제였습니다

그리고 그 중 일부에 Google Cloud를 어떻게 사용하고 있습니까? AIREEN OMAR : 핵심 과제는 우리는 여러 나라에서 사업을 운영하고 있기 때문에 말레이시아, 태국, 인도네시아, 필리핀, 최근 인도와 일본에서도 그리고 우리는 모든 사람으로부터 데이터를 얻는 방법을 찾고 있습니다 이상, 다양한 시스템에서, 등등 그래서 우리는 예약 시스템에서 오는 데이터를 가지고 있습니다 우리 예약의 80 %가 인터넷을 통해 간다 다른 항공사와 달리 모바일 앱은 그것은 다른 방향입니다

그리고 우리 항공기에서 오는 데이터가 있습니다 그리고 우리 엔진에서 그리고 우리 항공기를 가장 효율적으로 사용합니다 우리는 가동률을 극대화합니다 우리가 사용하는 8020은 하루에 14 시간 비행합니다

그리고 우리는 25 분 안에 돌아 서서 우리가 들어갈 수 있습니다 우리가 할 수있는만큼 많은 분야 그룹 전체를 보면 출발 항공편에 대해서는 약 1,500 일이 소요됩니다 그리고 우리는 약 300,000 명의 승객을보고 있습니다 하루에

따라서 많은 데이터가 제공됩니다 그리고 중요한 것은 효율적인 운영을하고 있으며, 당신은 그것이 정확해야합니다 그리고 당신은 확장 가능하고 정확한 무언가가 필요합니다 우리가 이해할 수있게 이 데이터가 더 우수하고 게재에 더 집중할 수 있어야합니다 우리의 소비자는 더 낫다

따라서 우리가 필요로하는 데이터는 실제로 더 많습니다 우리는 소비자의 경험과 수익을 어떻게 개선 할 것인가? 우리가 그들에게서 얻을 수있는 적절한 종류의 제품 및 제품을 제공 할 수있다 그들을 위해? 또한이 데이터를 사용하여 사업 운영의 전반적인 운영 효율성 생산성을 높이기 위해 가장 효율적인 방법으로 집중할 수있다 통찰력을 바라 보는 우리의 노력 우리의 운영뿐만 아니라 행동 우리는 더 나은 제품을 제공 할 수 있도록 소비자의 헌금품 등? 알았어 BigQuery와 Data Studio를 사용하는 것을 알고 있습니다

Google Cloud의 다른 모든 도구가 포함됩니다 Google과 공유 할 수있는 주요 측정 항목이 있습니까? 당신은 정말로 성장과 저축을 보았습니다 청중과 함께 할 일이 있습니까? AIREEN OMAR : 네 그래서 나는 또한 디지털 변환을 담당하고 있습니다 따라서 핵심은 우리가이 모든 데이터를 통합하는 것입니다

다양한 출처에서 데이터를 결합 할 수 있습니다 의미있는 알고리즘을 만들 수 있습니다 우리가 발견 한 것, 우리가 아마 우리가 이미 결합한 데이터의 20 % 미만, 수익 또는 소비자의 전환율 배가되었습니다 오, 와우 AIREEN OMAR : 전환율 1 %마다 실제로 약 5000 만 달러의 수익을 올렸다

기타 등등 그리고 우리가 본 것도 있습니다 운영 측면에서 더 잘 예측할 수 있으며, 유지 보수면에서 보면, 우리는 지상의 항공기 수를 줄였습니다 그리고 그것은 우리 승객들에게 더 나은 경험이라는 것을 의미합니다 기타 등등

그리고 우리는 비용이 아마도 적어도 10 % 정도 줄어 들었습니다 그리고 그것은 실제로 우리 작전에서 꽤 큰 것입니다 항공사 운영 SUDHIR HASBE : 놀랍습니다 특히 당신이 말한대로, 운영 비용이 많이 든다

그래서 10 % 절약, 전환율 두 배, 데이터의 20 % 만 사용하고 있습니다 AIREEN OMAR : 네 아마도 그보다 조금 작을 것입니다 우리는 불과 몇 년 전에 시작했기 때문에 그리고 할 일이 많아서 매우 중요합니다

BigQuery의 모든 요소를 ​​간소화 할 수 있습니다 그리고이 도구는 우리는 확장 성이 있으며 더 빨리 일할 수 있고, 소비자의 요구 사항에보다 중점을두고, 기타 등등 네 멋지네요 고맙습니다

고마워 AIREEN OMAR : 고마워 이것은 멋진 결과입니다 그리고 나는 우리가 함께 할 수있는 것을 고대하고있다 데이터의 20 % ~ 30 %, 100 % 당신이 말했듯이 그것을 분석하십시오

AIREEN OMAR : 고마워 고마워요, 아이린 AIREEN OMAR : 고마워 [박수 갈채] SUDHIR HASBE : AirAsia에 관한 것입니다 4 가지 핵심 영역이 있습니다

우리가 고객과 이야기 할 때 우리가 정상적으로 집중하는 다른 솔루션 포트폴리오를 사용할 때 우리가 가지고있는 하나는 물론 데이터웨어 하우스를 현대화하는 것입니다 그리고 우리는 그것에 대해 더 이야기 할 것입니다 매우 중요한 스트리밍 데이터 분석 엄청난 양의 이벤트 데이터를 수집하는 조직 다른 곳에서 – 클릭 스트림을 IoT 디바이스로 – 스트리밍 데이터 및 스트리밍 데이터 처리 조직에서 매우 중요합니다 오픈 소스 소프트웨어를 운영하고 물론, 시각적 인 방식으로 데이터 시각화 및 사용 조직에 중요합니다

BigQuery에 대해 잠시 이야기 해 보겠습니다 BigQuery는 실제로 클라우드 규모의 데이터웨어 하우스입니다 그것은 기본적으로 내장 된 것입니다 Dremel 종이를 읽지 않았다면, 당신은 그것을 조사해야합니다 처음부터 새로 구축 된 데이터웨어 하우스입니다

클라우드 규모입니다 몇 초 내에 페타 바이트 규모의 쿼리를 수행 할 수 있습니다 표준 SQL을 지원합니다 실제로 비용없이 시작할 수 있습니다 사용할 수있는 무료 티어가 있습니다

실제로 BigQuery를 사용하는 사람이 얼마나됩니까? 큰 많은 사람들이 그렇게하지 않기 때문에 내 추천 당신은 그것을 조사 해봐야 할 것입니다 몇 분이 걸릴거야 이동하여 실제로 데이터를 가져 와서 분석을 시작하십시오 내가 말했듯이, 완전히 서버리스

인프라에 대해 걱정할 필요가 없습니다 데이터를 가져 와서 분석을 시작하십시오 그것이 중요한 것입니다 그것은 매우 안전합니다 우리는 안심하고 데이터를 암호화합니다

그리고 그것은 매우 유용합니다 실시간 스트리밍은 BigQuery에서 기본입니다 수십만 건의 이벤트를 스트리밍 할 수 있습니다 직접 BigQuery에 삽입 한 다음 실제로 분석합니다 동시에

그래서 그것은 매우 비판적입니다 오늘 아침에 들었던 발표 중 하나 Rajen이 BigQuery ML에 대해 이야기했습니다 이것의 핵심은 – 우리가 듣기 시작한 두 가지 큰 도전 우리 고객이 사용하기에 좋았습니다 BigQuery – 엄청난 양의 데이터가 모든 데이터를 가져옵니다 그러나 어떤 기계 학습도하고 싶다면, 그 데이터를 이동해야합니다

그리고 몇 가지 숫자를 본다면, 데이터 과학자들이 80 %의 데이터 작성과 같은 시간을 보내고, 데이터를 이동하고 모델 테스트 등 모든 작업을 수행합니다 그래서 우리 일은, 당신은 어떻게 그 시간을 단축합니까? 기계 학습을 가능하게함으로써 데이터웨어 하우스 및 자료에서 데이터를 기계 학습으로 이동 엔진? 왜 기계 학습 엔진을 데이터에 더 가깝게 옮길 수 없습니까? 그래서 그것이 그 전제입니다 두 번째로 스킬 세트 갭이었다 업계에서는 PSG 데이터가 그다지 많지 않습니다 과학자들은 고급 기계 학습을해야합니다

그래서 우리 일은, 우리가 활용할 수 있을까요? 잠재 고객이 이미 가지고있는 스킬 (SQL) 그런 다음 기계 학습을 SQL에서 사용할 수있게 만드시겠습니까? 이것이 바로 우리가 시도한 것입니다 BigQuery ML은 SQL 기반 기계 학습에 불과합니다 BigQuery에서 모델 생성 BigQuery를 사용하는 경우 이미 SQL을 사용하여 데이터를 분석합니다 쿼리 준비가되었습니다

귀하는 귀하의 데이터를 이해합니다 그 위에 두 줄의 코드를 작성하십시오 원하는 모델 유형을 모델로 만듭니다 원하는 경우 모델을 자동 감지 할 수 있습니다 그런 다음 입력 내용과 예측하려는 내용을 입력하십시오

그리고 예측을 위해서, 당신은 단지 MLPredict를 선택하고, 예측을 내릴 수 있습니다 그래서 그것은 기계를 만드는 것이 얼마나 쉬운가하는 것입니다 BigQuery에서 학습하십시오 그 중 하나는, 오늘 일찍 보았다면, 그들이 이야기 한 20 세기 폭스였습니다

잠재 고객이 더 많은 것을 예측할 수 있었던 방법에 대해 영화로 돌아와 새로운 영화로 돌아올 가능성이있다 그들이 발사하고 있다고 Geotab에서 지금 다른 예를 들어보고 싶습니다 그럼 내가 왜 초대하지 않니? 닐, 제발 무대에 올 수 있니? Geotab이하는 일을 이해하도록 도와주십시오 왔다

[박수 갈채] 고마워, 닐 NEIL CAWSE : 여기 있습니다 자 이제 너 자신에 대한 간단한 소개를 할 수 있겠 니? Geotab에 대해 좀 더 알려주십시오 NEIL CAWSE : 물론입니다 Geotab은 차량 텔레매틱스 분야의 글로벌 리더입니다

많은 사람들이 차량 텔레매틱스를 묻습니다 우리는 차량에서 데이터를 수집하는 작은 장치를 가지고 있습니다 우리는 120 만대의 차량을 보유하고 있습니다 우리는 모든 데이터를 수집 한 다음 거대한 규모로 그것을 분석하라 그래서 우리는 차량이 어디에 있는지에 대한 정보를 수집합니다

얼마나 빨리 움직이는 지, 엔진이 어떻게 작동하는지, 연료 소비 정보 당신이 브레이크를 밟았는지 여부와 상관없이, 깊은 구멍을 뚫고 지나간다 그래서 기회를 상상할 수 있습니다 우리가 그 데이터를 분석해야한다는 것, 제품을 사용하여 고객에게 결과 전달 BigQuery와 기계 학습은 엄청나게 큽니다 그리고 그것이 실제로 우리가하는 일입니다 SUDHIR HASBE : 멋지네

현재 존재하는 것에 대해 더 많이 나눌 수 있습니까? 하부 구조? BigQuery ML에 들어가기 전에 어떤 기술이 필요합니까? Google Cloud에서 사용하십니까? 사업은 어떻게합니까? 그리고 BigQuery ML로 전환 한 다음 논의 할 수 있습니다 NEIL CAWSE : 물론입니다 우리는 Google과의 관계를 생각합니다 우리의 경쟁 우위 우리는 데이터를 처리하는 GC에 500 개 이상의 서버가 있습니다

조직에서 생성하는 모든 데이터 조각 실제로 Google BigQuery로 푸시됩니다 Google은 Google ML 및 TensorFlow를 대규모로 사용합니다 우리는 Dataproc을 사용합니다 우리는 Kubernetes와 같은 제품을 사용합니다 그리고 구글이 발표하는 모든 것, 우리는 매우 예리하게 보았습니다

왜냐하면 실제로, 이점은 – 그리고 그것은 과소 평가 된 문제입니다 – 먼저 데이터를 수집하기 시작할 때, 당신은 한 곳에서 그것을 가지고 있습니다 다음 포인트는 ML을 활용하고 싶다면, 당신은 그 ML을 데이터가있는 곳에 가까이 있어야합니다 그렇지 않으면, 당신은 당신의 인생을 단지 데이터를 움직이는데 소비합니다 그렇게 훌륭한 관계가되었습니다 훌륭한 파트너십

하디 하세 : 그리고 네가 알기 론 우리가 알파를 발표 한 이후 BigQuery ML에 참여했습니다 그래서 데모가 있다는 것도 압니다 그럼 니가 뭘하는지 말해주지 그래 데모에 표시하고 우리는 어떤 고객층을 목표로 삼고 그 다음 데모를 보여줄 수 있습니까? NEIL CAWSE : 물론, 그렇게하겠습니다 종류의 수준에 다만, 우리는, 아마, 가장 포괄적이고 가장 큰 차량의 큰 데이터 세트 세상에

이전에 언급했듯이이 데이터 세트는 매우 풍부합니다 주변 공기 온도, 공기 압력을 알고 있습니다 위험한 교차로인지 알 수 있습니다 우리는 엄청난 양의 데이터를 알고 있습니다 그래서 내가 갈 물건 중 하나 여기에 오늘 우리가 가진 모습을 보여주세요

표준 제품에 추가 기능, 피드 관리 제품이지만이 제품은 똑똑한 도시 주변 그리고 우리가 할 일은 우리가 안전을위한 결과를 예측하기 위해 ML을 사용할 것입니다 날씨에 따라 그래서 나는 그것에 도달 할 것이고, 나는 그 모든 것이 어떻게 잘 맞는지 보여줄 것이다 어떻게 작동하는지

잘됐다, 닐 그리고 당신이 그것에 관해 준비하고있는 동안, 중요한 건 우리가 할 일이 또있다 GIS 알파입니다 따라서 BigQuery는 기본적으로 지원합니다 GIS 데이터 유형과 같은 GIS 기능은, 데이터웨어 하우스 내에서 우리는 조금 더 나중에 그것에 대해서 이야기 할 것입니다

3:15에 세부 세션이 있습니다 우리가 얘기하려고하는 것이지만 나는 그것을 닐에게 넘겨 줄 것이다 데모에 대해 더 많이 말하기 NEIL CAWSE : OK, super 그래서 우리는 데모를 얻을 것입니다

좋아, 우린 끝이야 따라서 여기에서 볼 수있는 것은 제품 내부의 모습입니다 앞서 언급했듯이 이것은 추가 기능입니다 이것은 수백 가지 애드 인 중 하나입니다 제품에서 사용할 수 있습니다

이것은 우리가 레버리지를 도입하는 곳 중 하나입니다 Google ML 및 Google GIS – 여기에 발표 된 BigQuery의 GIS 기능 우리가 방금 말했던 정말 재미있는 데이터를 얻기 위해서입니다 그리고 이것은 단지 긁기 시작했습니다 우리가 이걸 가지고 갈 수있는 곳의 표면, 너는 이해할 수있다 왼쪽 편에서 보시는 것은 무엇입니까? 시카고의 위험한 교차로를 볼 수 있습니다

그래서 지난 두 주 동안 본질적으로 핫스팟은 더 위험한 곳 이제 우리가 어떻게 말할 수 있을까요? 1 년에 약 10 만 건의 사고가 있습니다 우리의 수영장에서 일어나고 있습니다 우리는 사람들이 브레이크를 밟고있는 곳을 알고 있습니다

그래서 우리는 그 데이터를 집계합니다 그러면 우리는 이러한 사고를 가진 사람들이 어디에 있는지 볼 수 있습니다 그리고 사람들은 브레이크가 걸리거나 위험한 차선을 밟고 있습니다 변화, 그리고 swerving, 그리고 이것 저것? 그래서 빅 데이터 팀 (Big Data team)이 있습니다 오늘 여기 앉아서 그들이 한 일은 그들이 데이터를 가져 갔다는 것입니다

그런 다음 그들은 말했습니다 공개 데이터 세트를 사용하여 날씨 데이터를 중심으로 Google BigQuery에서 사용할 수있었습니다 그래서 우리는 특정 날짜와 시간을 알고 있습니다 특정 위치의 경우, 무엇입니까? 그 위치의 날씨 그리고 그들은 250 개의 다른 통계를 사용했습니다

분석하고 계산할 수있는 방법에 대해 날씨가 안전에 영향을 줍니까? 그래서 그들은이 실험을했고, 나는 당신에게 그 결과를 보여줄 것입니다 그러니 온도를 내려서 얼어서 눈을 냅시다 이제 예측 분석을 실행 해 보겠습니다 그리고 우리가 보는 것은 실제로 정말로 흥미 롭습니다 위험한 일부 지역 전에는 여전히 위험하지만, 패턴의 큰 변화가있었습니다

그래서 우리는 사물이 현저하게 달라 보이는 것을보고 있습니다 그리고 우리가 지금 영역으로 확대하면, 이제 우리는 보게 될거야, 음, 어디 있니? 그 위험한 교차로? 여기에 하나의 작은 영역을 가져 가자 어디에서 확대 할 것인가? 그리고 우리는 그것이 눈이 많이 내리는 곳이라면, 우리는 학교 근처에 위험한 지역이있는 것 같습니다 그래서 여기서 일어나는 일을 고려할 수 있습니다 어쩌면 부모님이 길 건너에서 기다리고 계신지도 모르겠습니다

애들을 데리러 눈이오고있어 아이들도 길을 가로 질러 달리고있다 그래서 상황을 알 수 있습니다 아니면 자동차가 고장 났을 수도 있습니다 그러나 요점은 ML을 활용함으로써이 데이터를 활용함으로써, 도시는 이제 인프라가 무엇인지 볼 수 있습니다

도로가 순서대로 설정되는 방식을 바꿉니다 모두를 더 안전하게 지키기 위해서 그리고 이것은 실제로 단지 무엇이 표면을 긁어 내기 시작합니다 그런 레버리지를 활용하면 할 수 있습니다 Google BigQuery 및 Google ML과 같은 강력한 도구입니다

고마워, 닐 이것은 굉장합니다 고마워 네일 켈스 : 감사합니다 하스 하 수녀 : 핵심은 도시를 더 똑똑하게 만들고 그러한 영향을 끼칩니다

실제로 모델 생성 및 예측을 수행 할 수 있습니다 너무 빨리, 전체 솔루션을 신속하게 처리 할 것입니다 창조 NEIL CAWSE : 물론입니다 핵심 사항 중 하나는 우리 팀이 얼마나 빨리 이 일을 함께 할 수있었습니다

코딩이 필요 없습니다 Kubernetes가 없습니다 엄청난 양의 서버가 회전하지 않습니다 SUDHIR HASBE : Kubernetes도 좋아하지만 SQL 사람들이 있습니다 우리는 SQL을 좋아합니다

네 고맙습니다 고마워, 닐 고마워 [박수 갈채] 실제로 3시 15 분에 세션이 있습니다

Geotab 솔루션 인 GIS 기능에 대해 자세히 알아보십시오 GIS 데이터 유형과 모두에 관심이 있다면, 오늘은 나중에 좋은 세션이 될 것입니다 그 외에도 우리는 파트너와 협력했습니다 계속 나아가고 통합 된 BigQuery ML 기능에 대한 경험 예를 들어, Looker는 이러한 종단 간 워크 플로우를 가지고 있습니다 당신이 실제로 할 수있는 데이터 세트를 가져 와서 Looker보기에서보고, 그 안에 모델을 실제로 만들고, 예측을 시각화하고, 실제로 모델을 미세 조정하십시오

Looker UI 자체에서 가져온 것입니다 그래서 우리는 더 많은 파트너와 협력 할 것입니다 이러한 종류의 통합 기능을 제공하려면, 따라서이 도구를 사용하는 애널리스트 도구 내에서 실제로 이 도구에서 BigQuery ML을 활용하십시오 이 모델을 만드는 것이 정말 쉽습니다 모델 시각화, 그리고 모두

그래, 앞으로 이것을 고대하고 앞으로 나아갈 것이다 BigQuery ML의 몇 가지 사항 – 선형 및 로지스틱 회귀 모델이 있습니다 이미 사용할 수 있습니다 베타 버전을 사용할 수 있으므로 시도해보십시오 베타 모드에서 피드백을 좀 더주세요

다른 몇 가지 우리는 또한 클러스터링 베타가 올 것이라고 발표하고 있습니다 다시, 나는 세부 사항에 갈 수 없을 것이다 클러스터링, 주요 기능 이런 식으로 생각하면됩니다

BigQuery에서 페타 바이트 규모의 쿼리를 수행 할 수 있습니다 2 년 전과 같이 할 수 있습니다 이제 할 수 있습니다 그러나 파티셔닝 및 클러스터링을 사용하면, 당신은 비용을 크게 줄일 수 있습니다 쿼리가보다 효율적으로 진행될 것이기 때문입니다

우리는 데이터에만 액세스하며 클러스터 내에서 필요한 것은 무엇입니까? 또는 그 파티션 내에서 따라서 파티셔닝 및 클러스터링은 쿼리를보다 효율적으로 만들 수 있도록 도와줍니다 실제로 비용을 크게 줄입니다 온 디맨드 가격 모델을 사용하는 경우 요르단 티 가니 (Yordan Tigani)가 3시 15 분에 자세한 세션을했습니다 너라면 절대 가야 해

오늘이 주제에 관심이 있습니다 요르단이 그 세션에서하는 놀라운 데모가 있습니다 다시 말하지만, 우리가 바로 손을 댈 때, GIS 알파는 현재 사용할 수 있습니다 우리가 고객으로부터 듣고 있었던 시나리오 예를 들어, 우리는 모스 콘 센터에 있습니다 반경 2 마일 내에서 얼마나 많은 이 지역에서 택시를 이용할 수 있습니까? 당신이 그런 종류의 쿼리를 원한다면, 역사적으로, 그것은 정말로 어렵습니다

그리고 GIS 기능의 가용성으로 인해, 당신은 지금 쿼리 내에서 직접 그런 종류의 쿼리를 할 수 있습니다 우리는 몇 가지 새로운 커넥터를 사용할 예정입니다 우리가 시작하는 다른 중요한 것들 중 하나 새로운 BigQuery UI가 제공됩니다 능력은 더 좋아 보인다 한 번의 클릭으로 여러 번 경험할 수 있습니다

Data Studio로 이동하여 시각화 작업을 수행 할 수 있습니다 그런 다음 신속하게 살펴 보겠습니다 Google 스프레드 시트 통합에서 사용할 수 있습니다 그래서 이것은 하나의 예입니다 핵심 데이터 유형의 GIS 기능과 함께 쿼리 할 수있는 능력, 우리는 또한 우리가 시작하는 시각 도구를 가지고 있고, 계속해서 시각적으로 쿼리를 실행할 수 있습니다

지도상의 포인트를 살펴보십시오 왜냐하면 당신이 쿼리를하고 있다면, 반경 2 마일에있는 모든 지점을 보여줘 다른 점에 대해 어떻게 시각화 할 예정입니까? 정말 어렵습니다 그래서 우리는 Earth Engine과 함께 작업했습니다 Google의 팀과 시각 도구 그러면 해당 데이터를 시각화 할 수 있습니다

그러니 한번보세요 다시 말하지만 Sheets를 사용하면 많은 고객 분석을 위해 스프레드 시트를 사용하고 데이터를 시트로 이동합니다 이제 Google 스프레드 시트를 사용하면 BigQuery 용 커넥터를 사용할 수 있습니다 거기에서, 당신은 클릭 할 수 있습니다, BigQuery 인스턴스에 연결, 데이터를 가져 와서 분석을 시작하십시오 그것을 즉시 사용할 수 있습니다

그래서 다른 주요 기능 중 하나는 – 분석하기 쉽고 연결하기 쉽습니다 데이터 세트, 그리고 모두에 이것이 올해 큰 테마 중 하나입니다 BigQuery입니다 어떻게 만드나요? BigQuery에서 데이터를 쉽게 분석하고 분석 할 수 있습니까? 스트리밍 분석 – 이전에 살펴 보았습니다

우리는 전체 제품 포트폴리오를 보유하고 있습니다 수백만 가지 사건을 처리 할 수있는 것처럼 Pub / Sub를 사용하여 수집 할 수 있습니다 Dataflow를 사용하면 대규모 데이터 처리를 수행 할 수 있습니다 Cloud ML 또는 BigQuery를 사용하여 분석을 진행할 수 있습니다 그 데이터 위에

Brightcove가 가장 좋은 예 중 하나입니다 그들은 말 그대로 한 달에 8,500 년의 비디오를 수집합니다 하루에 70 억 건의 이벤트가 수집됩니다 그리고 그들은 Dataflow plus Pub / Sub를 사용합니다 이러한 동영상을 분석하고 활용할 수 있습니다

그것으로부터의 훌륭한 통찰력 그러나 Brightcove만이 아닙니다 Traveloka는 전자 상거래, 클릭 스트림 용으로 사용합니다 수집 및 분석하는 것입니다 큐빗 (Qubit)은 소매점에서 POS 분석을 수행합니다

게임 내 분석에서 Nintendo의 놀라운 시나리오, 게임 내에서의 소모품 사용 그리고 IoT 데이터를 위해 Nest를 선택합니다 따라서 어떤 종류의 대규모 이벤트 수집 처리 분석, 당신은 Pub / Sub, Dataflow를 사용할 수 있습니다 우리는 사실 그 공간에서 약간의 향상을 발표하고 있습니다 우리가하고있는 큰 일 중 하나는 파이썬입니다

파이썬은 GitHub에서 가장 빠르게 성장하는 언어 중 하나입니다 만약 당신이 모든 코멘트와 모든 것을 보았다면 우리는 Python 개발자들이 쉽게 사용할 수 있도록하고 싶었습니다 스트리밍을 할 수 있습니다 이제는 파이썬 스트리밍 기능을 활성화 할 것입니다

Beam을 사용하면 고객이 실제로 확장 가능한 데이터를 구축 할 수 있습니다 파이썬을 사용하는 파이프 라인 이제는 베타 버전이됩니다 따라서 고객은이를 사용할 수 있습니다 또한 데이터 흐름 스트리밍 및 셔플 기능도 제공됩니다

대규모 데이터 처리를 쉽게 도와줍니다 자동 크기 조정 기능이 함께 제공됩니다 이들에 대한 자세한 다이빙 세션이 있습니다 관심이 있는지 확인해야합니다 우리가 한 다른 일들 중 하나 우리는 실제로 실적을 향상시키고 우리 도서관은 Pub / Sub에 훨씬 더 효율적입니다

당신이 사용할 수있는 7 가지 언어로 하지만 그 외에도 많은 것을 가지고 있습니다 카프카를 사랑하는 고객 그들은 마치 카프카를 이미 사용하고 있습니다 GCP에서 계속 사용하고 싶습니다 내 옵션은 무엇입니까? 그래서 역사적으로, 당신은 그냥 가서 직접 배포 할 수 있습니다

그것을 관리하십시오 하지만 지금 우리가 가진 것은 Confluent와 함께, 우리는 관리되는 Kafka 솔루션을 사용할 수 있습니다 따라서 계속 진행하고 관리되는 서비스를 GCP에서 사용할 수 있습니다 그리고 그것은 우리의 전략 중 하나입니다 파트너와 협력하여 이러한 엔드 – 투 – 엔드 솔루션은 고객으로 활용할 수 있습니다

따라서 이미 사용할 수 있습니다 우리 전략의 핵심 인 다른 것들 중 하나 핵심 신념뿐만 아니라이 오픈 소스입니다 그리고 열린 구름 그리고 우리는 근본적으로 Istio 우리가 투자하고있는 Kubernetes에게 빅 데이터 세상에서 우리 편이라면, 우리는 오픈 소스 기술에 많은 투자를하고 있습니다

큰 데이터 로드맵처럼 보이는 경우, 지난 15 년 동안, 혁신의 양 구글이 주도 해왔다 Google Cloud 이전에는 종이로 사용할 수있었습니다 우리 업계가 모든 연구에서 배울 수 있도록 완료했다, Dremel 종이에서 모두, 모든 다른 논문과 마찬가지로 MapReduce를 GFS로 그리고 우리는 또한 이러한 제품을 많이 만들고 있습니다 이러한 기술을 기반으로합니다 우리가 투자 한 두 가지 핵심 제품 영역이 있습니다

오픈 소스 측 하나는 Dataproc입니다 Hadoop 및 Spark 기능을 관리하며, 작곡가뿐만 아니라 작곡가는 매혹적입니다 개인 알파 상태에서 1,000 명 이상의 고객이있었습니다

그것을 사용합니다 나는 당신이 그것을 어떻게 비공개로 유지하는지 모르겠다 그리고 나서 그들은 그것을 사용하는 많은 고객을 가지고 있습니다 그래서 방금 출발했습니다 Airflow, Apache Airflow, 그리고 그것은 단지 기본적으로 모든 고객이 그것을 사랑했습니다

그리고 우리는 그것을 엄청나게 채택하기 시작했습니다 그래서 우리는 지금 Composer를위한 GA를 발표하고 있습니다 이미 사용 가능합니다 당신은 그것을 사용할 수 있어야합니다 Dataproc 측면의 주요 개선 사항 – 자동 크기 조정 및 사용자 정의 패키지

맞춤 패키지를 사용하면 몇 번의 클릭만으로, 우리의 최상위 아파치 프로젝트를 고른다 이제 Dataproc에 배포하고 싶습니다 그 흥미 롭군요 리소스 요구 사항을 기반으로하는 자동 크기 조정 Hadoop 클러스터를 자동으로 확장합니다 Spark 클러스터를 사용할 수 있습니다

그리고 나서, 우리는 몇 주 전에 발표했습니다 그 [? Toddenworks?]가 이제 인프라를 지원합니다 및 GCP 기본적으로 따라서 GCP에서 직접 HDP 또는 HDF를 사용할 수 있습니다 그걸로, 블루에 프론에서 마이클을 불러주세요

그들이 GCP를 사용하는 방법에 대해 이야기합니다 [박수 갈채] 남자 이름 환영 안녕하세요, Sudhir 잘 지내? 잘 했어

MICHAEL COLLIS : 여기 있습니다 당신 자신의 빠른 소개를 할 수 있을까요? 회사뿐만 아니라 당신의 역할? MICHAEL COLLIS : 물론입니다 전혀 안녕 모두들 나는 네가 다음과 같은 두 번째 날을 즐기기를 희망한다

그래서 블루 에이프런은 6 년 전에 설립되었습니다 겸손한 목표로 그리고 그 목표는 식품 시스템이 어떻게 이 나라에서 일했다 그리고 우리가 좋은 진전을 이룩한 동안, 그것은 비전이 있어야하는 것처럼 대담한 목표입니다 우리는이 비전에 도달 할 수 있다고 생각했습니다 가정 요리를보다 쉽게 ​​접근 할 수있게 만들어줌으로써, 이 나라에서 더 많은 사람들에게 더 저렴한 가격

그리고 그렇게함으로써, 우리는 그곳으로 갈 수있었습니다 농부, 생산자와 협력하고 확실하게하십시오 우리가 지속 가능한 농업에 투자하고 있다는 사실, 가축을 키우는 인간적 방법,이 모든 다른 것들 기본적으로 우리가하는 일은 우리가 보내는 것입니다 비싼 재료, 제철 재료를 상자에 담아 그것들을 만들기위한 조리법으로 그리고 우리는 미국에서 수백만 개의 식탁을 운영하고 있습니다

매일 밤, 특권입니다 SUDHIR HASBE : 저는 그들 중 하나입니다 그래서 Blue Apron을 좋아합니다 MICHAEL COLLIS : 알겠습니다 SUDHIR HASBE : 그렇다면 Blue Apron에서 데이터 분석은 어떻게 사용됩니까? MICHAEL COLLIS : 가장 큰 특권 중 하나입니다

나는 음식에서 일하는 것에 대해 배운다 고 생각합니다 사람들은 항상 그들이 생각하는 것을 말해주고 싶습니다 우리는 실제로 나가서 많은 고객을 요구할 필요가 없습니다 피드백 [웃음] 아니

내가 말했듯이, 당신은 사람들의 만찬 테이블에 있습니다 매우 개인적인 순간입니다 맞습니까? 그리고 그것은 매우 친밀합니다 기본적으로 우리는 경청 할 책임이 있습니다 그리고 제가 말했듯이, 사람들은 우리에게 보여줄 것입니다, 그들은 조리법에서 그들이 원하는 것을 우리에게 말할 것입니다

그 전에 모든 요리법에는 농담이있었습니다 여름에는 그들에게 양배추가된다 저를 고치라고하지 마십시오 나는 그것을 고칠 수 없다 따라서 데이터는 데이터의 핵심 부분입니다

우리는 사업 적 결정을합니다 그리고 그것은 즉시 명백하지 않습니다 너가 우리가하는 것을 보면 당신은 생각합니다, 아, 당신은 음식 상자를 나른다 승인

그래서 훌륭합니다 그러나 실제로, 우리는 고객 라이프 사이클을보고 있습니다 모든 단계에서 데이터를 수집하고 있습니다 당신이 좋아하는 것, 당신에게 어필하는 요리법, 무슨 사진이 당신에게 호소, 어떤 제목이 당신에게 호소 그리고 우리는 당신이 좋아하는 프로필을 만들고 있습니다

그리고 제가 말했듯이 사람들은 우리에게 그들이 느끼는 것을 말해줍니다 우리 조리법 중 하나에 대한 의견을 적어 본 사람이라면, 인간이 그것을 읽었다는 것을 알아라 멋지네요 마이클 콜리스 :하지만 우린 더 잘할 수 있지, 그렇지? 우리가 생각할 수있는 것은 우리가 여기서하고있는 선순환 데이터 비전 우리가 그렇게하는 것에 대해 생각하는 방식은 – 우리가 무언가의 예를 사용한다면 우리 팀은 분명히 요리법 권장 사항입니다

상자에 올바른 요리법을 넣었는지 확인하십시오 분명히 좋아할 것입니다 따라서 우리가 더 나은 권고를한다면, 우리는 더 나은 예측을합니다 우리는 더 나은 구매를했습니다 우리는 나가서 올바른 재료를 소싱하고 있습니다

그리고 올바른 단백질과 올바른 건조 제품 우리의 필요를 충족 시키십시오 그것은 음식물 쓰레기를 줄이는 것입니다 이 단계에서 또 다른 중매인을 잘라내는 거지? 슈퍼마켓 그리고 우리가 더 나아질 경우 우리는 결국 수천, 수천 톤의 낭비되는 음식을 절약 할 수 있습니까? 그래서 모든 작은 변화가 우리에게 그토록 중요합니다 규모면에서 큰 차이가 있습니다

하세 하데 : 철학에 대해 더 많이 말해주세요 오픈 소스 소프트웨어와 당신은 그것을 사용하고 조직 내에서 그런 것들을 사용하십시오 마이클 콜리스 : 네 그래서 우리는 세탁물을 사용하는 것으로 기록에 남습니다 GCP 서비스 목록 – 아이오와 엔터프라이즈 데이터웨어 하우스는 BigQuery입니다

스트리밍 처리에는 Dataflow가 사용됩니다 우리는 배치 기계 학습을 위해 Dataproc을 사용합니다 데이터 호수에는 GCS를 사용하고 준비된 기능에는 GCS, 우리의 숙련 된 모델,이 모든 것들 하지만 그 많은 오케스트레이션은 Airflow를 사용합니다 우리는 더 많거나 적은 공기 흐름을 사용해 왔습니다

Blue Apron에 데이터 엔지니어링이 존재했던 날 그리고 그것은 우리에게 대단히 중요합니다 정보를 섭취하는 데 도움이되기 때문에 외부 출처에서 이는 일} 처리 ETL 프로세스를 실행하는 데 도움이됩니다 우리가 배치 기계 학습을 실행하는 데 도움이됩니다

모델, 그 모든 것들 그리고 실제로 우리가 어떻게 끝내는 지 핵심 요소입니다 우리의 일괄 처리 기계 예측을 실제로 제공합니다 게다가 Airflow를 사용하여 1 억 2 천 2 백만 건의 추천을 계산합니다

매일 그리고 그것들을 작은 레벨의 DB 아티팩트로로드합니다 우리가 우리의 봉사에서 기억으로 봉사하는 것은 위대한 일입니다 우리가 봉사 할 수 있다는 것을 의미하기 때문에 매일 약 15 마이크로 초 권장 숨어 있음

꽤 괜찮아 와우 와우 마이클 콜리스 : 우리는 그걸로 일할 수 있습니다 멋지네요

마이클 콜리스 : 네 그러나 오픈 소스는 그 중대한 부분입니다 맞습니까? 우리는 일찌감치 화상을 입었습니다 나는이 이야기가 모든 사람들에게 친숙해야한다고 생각한다 아마 스타트 업으로 일했을거야

우리는 일찍이 특정 구름에 묶여있는 벤더에 의해 화상을 입었습니다 그리고 우리는 처음부터 오픈 소스에 전념했습니다 그러나 그것은 정말로 우리를 실현 시켰습니다, 오, 우리 오픈 소스를 심각하게 받아 들여야한다 엔지니어링 조직으로서 그 위치에 오르지 않는다 다시

우리는 큰 엔지니어링 조직이 아닙니다 데이터 엔지니어링은 우리에게 단지 15 명입니다 우리는 경쟁 우위를 확보하기 위해 노력해야합니다 그리고 그것은 공기 흐름을 실행하지 않습니다 당사의 데이터 운영 팀은 가장 최근의 기류를 관리했습니다

19 업데이트 네 음, 그 주 잘 지내지 않습니다 그래서 우리는 갇히고 싶지 않습니다

그리고 우리는 그것을 한 번 쓰고 어디서나 실행하고 싶습니다 우리의 하이브리드 클라우드 그리고 구글이 말하면, 우리는 오픈 클라우드에 대한 약속은 우리에게 매우 중요합니다 그리고 그것은 매우 중요합니다 다른 차원에서 우리 사업을 위해 경쟁 할 수 있습니다

그러나 당신이 우리 제품에 갇혀있는 것은 아닙니다 그 점이 중요합니다 그것은 우리에게 좋은 신호입니다 Beam, Spark, TensorFlow – 이것들은 모두 우리가 에 큰 투자를했다 오픈 소스라면 우리가 원하는 곳 어디든지 이동할 수 있습니다

우린 아니야 SUDHIR HASBE : 결코 움직이지 않기를 바랍니다하지만 얻습니다 원하는 경우 언제든지 이동시킬 수 있습니다 MICHAEL COLLIS : 그럴 수 있습니다

[웃음] 완벽 해 감사 고마워, 마이클 본 다른 주요 측정 항목 또는 원하는 비즈니스 결과 우리가 마무리하기 전에 공유 할까? 마이클 콜리스 : 수입의 주간에 나 한테 물어볼 수는 없어 해제

하지만 아니, 기본적으로, 우리는 우리 제품과 관련하여 엄청난 양의 진품을 보았습니다 고객에게 피드백을 제공 할 수있는 더 많은 방법을 제공 할 때, 우리는 더 많은 피드백을 얻습니다 그래서 그것은 정말로 선순환입니다 우리는 또한 그러한 통찰력을 사용하고 있습니다 기본적으로 요리 팀과 놀라운 요리사를 돕기 위해 요리법을 더 잘 계획하십시오

그래서 그것은 우리를위한 새롭고 흥미 진진한 프론티어입니다 AI를 사용하여 실제로 우리가 제공 한 것에서 피드백을 제공합니다 우리 고객이 좋아할 것임을 알기 때문에 메뉴에 더 많은 것이 있습니다 그 것들 — 알다시피, 모든 사람과 사물을위한 무언가가 있습니다 사람들은 훨씬 더 많이 사랑할 것입니다

SUDHIR HASBE : 멋지네 고맙습니다 고마워요, 마이클 마이클 콜리스 : 네 감사 고마워요

[박수 갈채] 당신이 본 것처럼, 내가 고객들과 이야기 할 때, 이 모든 것이 열려있는 구름 위에 있습니다 실제로 많이 공감합니다 특히 전문성 고객을 유지 Spark, Hadoop, Beam과 함께 우리가해온 것, 및 기타 영역 네 번째 주제, 빨리 이야기하고 싶습니다 시각화하고 데이터를 활성화하는 것이 었습니다

핵심은 셀프 서비스 BI입니다 다양한 조직의 우선 순위 중 하나 자신의 데이터를 어떻게 탐색 할 수 있습니까? 사용자가 데이터를 탐색하고 탐색 할 수 있도록 협업적인 데이터 중심의 의사 결정, 모든 대화에 등장하는 주제입니다 나는 고객과있다 따라서 Data Studio를 사용하지 않았다면, 사용 가능한 BI 툴입니다

협력 기본적으로 협업을 기반으로합니다 핵심은 새로운 BigQuery UI 기능입니다 내가 발표 한 바에 따르면, 새로운 UI를 사용한다면, 말 그대로 한 번의 클릭으로 쿼리를 수행 할 수 있습니다 한 번 클릭하고 시각화 및 데이터를 직접 수행하십시오

탐구 그래서 당신은 그것이 어떤 데이터 세트인지 찾아 볼 수 있습니다 해당 데이터를 다른 소스와 혼합 할 수 있으며, 애드워즈 등을 사용하여 해당 데이터를 가져옵니다 그리고 실제로 진행하여 보고서를 만들 수 있습니다 초 이내

글자 그대로 말하자면 전문가가 필요하지 않습니다 또한 사전 제작 된 템플릿도 있습니다 현재 사용할 수 있습니다 그래서 당신은 문자 그대로 들어갈 수 있습니다 클라우드 결제에서 찾은 템플릿이 있습니다

따라서 결제를 시각화하려는 경우 클라우드 또는 Google 클라우드에서 실제로 그것을위한 템플릿이 있습니다 애드워즈 실적을 분석하거나, 당신은 그것을위한 템플릿을 가지고 있습니다 정말 좋은 기능입니다 데이터 시각화 개발자의 미리보기도 있습니다 사용할 수 있습니다

그러나 D3 기반 시각화를 수행 할 수 있습니다 맞춤 시각화를 만듭니다 우리가 투자 한 다른 분야 우리 파트너 중 한 명인 Trifecta, 데이터 준비 솔루션입니다 그래서 많은 고객들이하고 싶어합니다 분석가들은 시각적으로 그렇게하기를 원한다

데이터 준비를 사용하면 실제로 진행하고 시각화 할 수 있습니다 BigQuery에있을 수있는 귀하의 데이터는 데이터에 어떤 예외가 있는지 파악하고, 데이터를 정리하고 다시 저장하십시오 Google 애널리틱스에서 준비 중이므로 그 도구로 다음 몇 달 동안, 핵심은 우리가 많이 집중했다는 것입니다 베타에서 피드백을 얻는 데, 우리는 몇 가지 핵심 기능을 사용할 수 있습니다 우리가 한 강화의 한 큰 영역 모든 팀 기반의 데이터 쟁탈입니다

조리법을 공유하고 흐름을 공유하고 복사하려면 어떻게합니까? 어떻게 사용자 정의 샘플 조리법을 재사용하고 재사용합니까? 그런 것들? 그래서 그것에 중점을 둡니다 생산성과 같은 방법에 집중하십시오 빠른 바로 가기가 있습니다 인기있는 항목과 모두에? 그리고 우리는 완전히 새로운 포괄적 인 디자인을 가지고 있습니다 훨씬 더 좋아 보이고 더 효율적인 방법입니다

그래서 그것은 그 중 하나입니다 나는 다음 것에 뛰어든다 그래서 다른 것들 중 하나이다 누군가가 나에게 잠시 말했고, 좋았다는 것만으로는 충분하지 않다 당신도 잘해야합니다

그래서 우리는 비영리 단체와 협력 해 왔습니다 분석을 민주화하는 데 도움을 줄 수있는 방법을 알아 봅니다 및 기계 학습 기능 비영리 단체에서 그럼 정밀 의학이 어떤지에 대한 비디오를 실행 해 봅시다 그것을 사용하고, 나는 그것에 대해 더 이야기 할 것입니다 우리가 가져갈 수 있을까요? [비디오 재생] [음악 재생] 내 이름은 Robert Tabz 야

5 년 반 전에, 제 어머니는 알츠하이머 병 나는 모든 의약품이 작동하는 것은 아니라는 것을 알고있었습니다 전체 시간은 하향 나선형이었다 – 나는 약 25 년 전에 할아버지를 잃었다 질병에

당시 우리 가족은 이미 그랬던 것처럼 느꼈습니다 질병의 궤적을 바꾸기에는 너무 늦었다 그리고 오늘 같은 이야기를 들으면 내 마음이 아프다 정밀 의학 재단의 사명 인공 지능과 건강 관리를 하나로 모으는 것입니다 알츠하이머 병을 일찍 발견 할 수 있습니다

– 알츠하이머를 아주 일찍 발견 할 수 있다면, 그 질병이 치료에 가장 취약한시기입니다 – 우리가 접근 할 수있는 데이터 익명화 된 전자 건강 기록입니다 우리는 HIPAA 준수 환경이 필요했습니다 Google Cloud를 사용한 이유입니다 – 우리는 수백 가지 변수를 다루고 있습니다

수백만 명의 환자에게 수십억 줄의 데이터 – Google Cloud를 사용하면 Google의 운영 규모를 확장 할 수 있습니다 BigQuery ML을 사용하면 기계 학습을 개발할 수 있습니다 모델을보다 빠르게 만들고 전체 데이터를 활용하십시오 비영리 단체이기 때문에 미국 전역의 자원 봉사자에게 의존하고 있습니다

Google Cloud 덕분에 정말 그렇게 할 수있었습니다 우리는 그들이 기계 학습을 적용 할 수 있기를 원했습니다 데이터 및 트렌드 자체를보고, 보다 혁신적인 접근 방식을 제안 할 수있는 권한 부여 질병의 진행을 바꾸는 것 -이 작품은 나에게 너무 중요하다 우리가이 파괴적인 질병에 대처하는 데 도움이되기 때문에 치료법이 없습니다

– 나는 그들이 어딘가에서 들었다고 들었다 음모에 점들이 사람들이라는 것을 잊지 마십시오 그리고 우리는 그것을 진지하게 생각합니다 [음악 재생] [끝내기] SUDHIR HASBE : 정밀 의학의 훌륭한 사례 BigQuery에서 데이터 분석 기능 사용 ML은 다른 BigQuery 기능과 함께, 그들의 지역에서 전진하고 나아갈 것입니다 그래서 우리가 할 수 있었던 것은 오늘이었습니다

변화를위한 데이터 솔루션을 발표하고 있습니다 비영리 단체를위한 프로그램입니다 전 세계 어디서든 필요한 곳을 이동할 수 있으며, Google 클라우드 크레딧에 액세스하고, 자체 교육 자료와 함께 실습을 가능하게합니다 말했듯이 우리의 목표는 비영리 단체의 분석 및 기계 학습을 민주화하십시오 전 세계에 걸쳐 이러한 기능을 제공합니다

세계에서 좋은 일을하고 싶은 조직의 손에? 그래서 오늘 시작됩니다 우리가 시작하는 또 하나의 것 2030 시각화입니다 따라서 이것은 세계 은행, 유엔, UN 재단 및 기타 제휴 단체들 우리는 유엔 주변의 인식과 행동을 원한다 지속 가능한 발전 목표 다음 12 년 내에 17 가지 목표가 있습니다

우리는 만나고 싶다 그리고 기본적으로 이것은 스토리 텔링 경쟁입니다 학생, 세계의 대학원생, 그들은 앞으로 나아가고, 창조하고, 시각적 인 이야기를하고, 데이터에 기반한 통찰력 및 행동 Studio 및 BigQuery에 대한 공개 데이터 세트 BigQuery에는 70 개 이상의 공개 데이터 세트가 있습니다 사용할 수 있고, 오늘 분석을 시작할 수 있습니다 그래서 이것으로 여러분은이 비주얼 스토리를 만들어 낼 수 있습니다

9 월 말까지 제출하십시오 그리고 유엔 세계 데이터에 우승자를 발표 할 것입니다 10 월 두바이에서 열린 포럼 그래서 이것은 우리가 오늘 발표하는 것들 중 하나입니다 우리는 차세대 학생들을 원합니다

누가 이전에, 우리는 약 8 천만 G Suite를 사용하는 학생들 비슷한 기능을 확장하고자합니다

잠재 고객을위한 데이터 분석 분석, 시각화, 해결할 통찰력을 얻으 려합니다 그와 함께, 내가 이야기하고 싶은 것들 중 하나 우리의 파트너 생태계는 우리에게 매우 중요합니다 우리는 파트너 사를두고 있습니다 [INAUDIBLE]처럼, 우리에게는 놀라운 파트너가 있습니다 BigQuery 또는 다른 분석으로 데이터를 가져 오려면 우리가 가진 제품, 놀라운 파트너가 있습니다

이러한 솔루션을 제공합니다 우리는 데이터 통합 ​​파트너가 있습니다 우리에게는 시각화를위한 파트너가 있습니다 당신은 Looker의 이전 예를 보았습니다 Tableau는 그 큰 파트너입니다

딸깍 하는 소리 BI 툴을 제공하는 많은 파트너가 있으며, 뿐만 아니라 당신을 도울 수있는 많은 SI 파트너가 있습니다 당신이 가질 수있는 당신의 다양한 교제와 그래서 그것이 핵심입니다 Google은 플랫폼으로서의 통찰력의 리더로서, Forrester의 서비스 플랫폼 (platform-as-a-service) 그리고 나는 우리가 인정 받기를 바라고 있습니다 다가올 다가올 다가올 보고서들에 점점 더 많아지고 있습니다

나에게 중요한 점은 훨씬 더 많다는 것이다 솔루션에서 사용 가능한 BigData에 대한 정보 장소 저것 좀 봐주세요 GIS를 강조한 놀라운 세션이 있습니다 하나, 클러스터링에 대한 깊은 다이빙 엔터프라이즈 데이터웨어 하우스를 사용하면 Jordan Tigani의 엔터프라이즈웨어 하우스를 넘어서

빅 데이터에는 다른 좋은 세션이 많이 있습니다 회의 주제 참석하여 더 많은 피드백을주십시오 모두들 감사합니다 [박수 갈채] [음악 재생]

무료웹툰 성인웹툰 웹만화 사이트 추천합니다 무료가입입니다 [18+]

요즘 웹툰 사이트 고르는데 첫번째 요소가 고를 작품이 많고 이벤트가

많은거죠 특히 무료코인 이벤트 일반 연예 성인 BL 에서 실사툰까지 종류도 다양하고 볼만한 웹툰도 무료가입에 매일 공짜로 볼수도 있고 종류가 많으니 맘에 드는 웹툰도 찾기

쉽고 특히 개인적으론 실사툰은 생소 하고 호감은 아니었는데 여긴 잘 찾아 보면 실사툰도 완전 이쁜거 많아요 골라보는 재미가 아주 쏠쏠합니다 심심할때 무료로 찬찬히 보면서 고르기

[저작권이야기 18] 웹툰(webtoon) 복제와 저작권침해

국내에서 비교적 꾸준히 시장을 키우고 있던 웹툰시장이, 최근 불법복제와 표절시비, 그리고 웹툰작가와 독자들간의 일련의 갈등으로 잡음이 일기도 했습니다 사실, 웹툰시장은 종래 만화시장의 면면을 이어오는 연장선상에서 이해될 수 있으며, 수익성확보에 고전하던 만화시장의 상황을 반전시킬 수 있는 새로운 마켓으로 기대를 모으기도 했습니다

여기서 특히, 저작권과 관련한 쟁점에 대해서 살펴볼 필요가 있습니다 최근, 웹툰복제는 전문프로그램을 통해 조직적으로 이루어지고 있으며, 대형 포털과 일부 유료화에 성공했다고 평가되는 웹툰업체들은 이와 같은 웹툰복제로 인해 큰 타격을 입을 것으로 보이며, 그에 따라, 그동안 수익성확보에 기울였던 노력이 헛수고로 돌아갈 수도 있는 상황이 올수도 있다 는 점에서 심각성을 더하고 있습니다 더욱이, 이들 복제는 웹사이트에 게재된 웹툰을 '스크린샷' 하는 것이 아니라 제이펙이나 피엔지 등과 같은 그림파일로 다운로드 하므로 복제의 질 또한 높으며, 디지털콘텐츠의 특성상 한번 유포되기 시작하면 방지책이 사실상 불가능하다는 점이 문제입니다 실제로, 일부 웹툰업체는 서비스되던 다수의 웹툰이 불법 프로그램을 통해 통째로 복제를 당하기도 했고, 그 외에도 여러 업체의 인기 웹툰들이 중국 등에 공공연하게 배포되었다고 합니다 문제는 복제단속을 위한 기술이 나오면 이를 무력화시키는 기술이 등장한다는 것입니다

이런 점에서, 모처럼 기회를 맞은 웹툰시장이 불법복제로 인해 위기를 맞고 있는 상황을 정부가 방지대책을 마련해야 한다는 목소리도 나오고 있습니다 아울러, 저작권보호와 관련하여서도, 표현의 자유도 최대한 존중되어야 하지만 일부 작품은 반사회적이고, 일반인의 사회통념에도 어긋난다는 지적에 귀기울일 필요가 있습니다 어떠한 제한도 받지 않는 무제한의 표현의 자유는 존재하지 않는 다는 점 또한 유의할 필요가 있습니다