Migrating a Big Data Environment to the Cloud, The Untold Story (Cloud Next '19)

[음악 재생] SASHA KIPERVARG : CP142에 오신 것을 환영합니다 빅 데이터 환경을 클라우드로 마이그레이션, 미지의 스토리

내 이름은 사샤 키퍼 바그입니다 저는 LiveRamp의 클라우드 운영 담당 책임자입니다 그리고 저는 우리의 수석 소프트웨어 중 하나 인 Ben Podgursky와 왔습니다 엔지니어, 패트릭 레이먼드 우리 수석 제품 매니저 그리고 그는 인프라 포트폴리오를 소유하고 있습니다

네가 도리를 모두 잘 알고 있다고 생각해 나는 그 일을 끝내지 않을 것이다 LiveRamp에 대해 조금 전에 프레 젠 테이션의 고기에 들어가십시오 기본적으로 오프라인 데이터를 사용합니다 주소, 다른 PII, 기본적으로 – 그런 다음 우리는 그것을 식별하지 못하고, 그것을 변형 시키며, 그런 다음 채널 파트너에게 채널을 제공합니다

모두 당신에게 광고 벤은 기술적 세부 사항을 우리 회사는 그의 주제 중 하나에서 않습니다 그래서 제가 제일 먼저 말하고 싶은 것은 벤 (Ben)과 저는, Patrick은 정말 작은 그룹의 사람들입니다 마이그레이션을 담당합니다 그것은 팀의 팀입니다

우리는 대규모 인프라 소대, 대규모 엔지니어링 팀, 보안 전문가, 재무 전문가, 준수 전문가 그리고 그들은 모두 우리를 이주시키는 책임이있었습니다 우리는 지금 비행 중입니다 우리는 곧해야합니다 나는 또한 Google 팀 구성원을 보유하게됩니다

여기이 슬라이드에 있습니다 그것들이 우리 팀의 일원이기 때문입니다 우리는 그들을 그렇게 취급합니다 그리고 그들은 우리를 도와줍니다 그리고 그들은 우리 팀 팀의 일부입니다

LiveRamp에 처음 가입했을 때 회사를 클라우드로 마이그레이션하도록 요청했습니다 그게 실제로 의미가 무엇인지 전혀 몰랐습니다 이것이 단지 뭔가이기 때문입니다 아마 20 년에 한 번 또는 일생에 한 번 일어날 수 있습니다 그 일을하기위한 플레이 북이 정말로 없습니다

그리고 나는 모험을해야한다고 생각했습니다 한 단계로 시작하십시오 그리고 그것이 제가 한 것입니다 방금 질문하기 시작했습니다 나는 임원이 일렬로 맞춰 졌는지 알아보기를 원했다

나는 예산이 있는지 알아 내고 싶었다 승인 절차가 무엇인지 알아야했습니다 그리고 꽤 자주, 그 질문은 더 많은 질문을 이끌어 냈습니다 그리고 그것이 제가 취한 접근법입니다 나는 관객 중 많은 사람이 생각한다

유사한 도전을 받고있다 어쩌면 그게 오늘 네가 여기있는 이유 일거야 내가 취할 접근법에 대해 생각하기 시작했을 때, 내가 가장 좋아하는 아티스트에 대해 생각했다 리처드 제임스라는 Aphex Twin이라고하는 사람입니다 그리고 이것은 그가 말하는 곳의 시원한 인용구입니다

그가 음악을 만드는 방법에 대해 근본적으로 그가 여기에서 말한 것 그게 플레이 북을 버리는 것입니다 그는 어둠을 헤쳐나 가면서 그가 배우고 자하는 것까지 이런 식으로 느낀다 그는 자신의 접근법에 적응합니다 그리고 많은 사람들이 내 정원을 가지고 있다고 생각합니다

그들은 독특합니다 당신은 자신의 문제가 있습니다 그리고 하나의 크기가 모든 플레이 북에 맞지 않습니다 모든 것을 다룹니다 내가 발견 한 첫 번째 사실은 우리가 팀을 올바르게 이끌어 낼 필요가 있습니다

그리고 그것은 올바른 스킬 세트를 갖는 것을 의미했습니다 그것은 올바른 문화를 갖는 것을 의미했습니다 그리고 나는 우리가 이전에했던 일이 엔지니어링 팀에 속한 팀 이들은 매우 숙련 된 시스템 개발자 그룹이었으며, 대부분은 미안하지만 시스템 개발자가 아닙니다 시스템 관리자

그리고 그들은 최선을 다하려고 애썼다 하지만 그들은 실제로 공학에 통합되지 않았습니다 내가 느꼈던 방식으로 필요했다 우리가 갈 필요가있는 곳으로 가야합니다 그래서 우리는 팀을 조정했습니다

우리는 먼저 스크럼을 채택했습니다 일부 시스템 관리자가 팀을 떠났습니다 팀의 시스템 관리자 중 일부는 새로운 기술을 익혔습니다 우리는 시스템 엔지니어를 고용했습니다 우리는 LiveRamp 엔지니어링 팀의 다른 팀원들로부터 파견되었습니다

게다가 그리고 우리는 근본적으로 개발 팀이되었습니다 인프라에 중점을 둡니다 도전의 다음 부분은 보안과 거버넌스를 찾아 내려고 노력했습니다 이제 클라우드에 도달하기 위해, 당신은 승인을 받아야합니다

당신은 보안에 가야합니다 규정을 준수해야합니다 합법적으로 가야합니다 놀랍게도 놀랍지 만 그 과정이 없습니다 물론, 아무도 이것을하지 않기 때문에 존재했다

일생에 한 번 그래서 우리는 그 과정을 만들어야했습니다 우리는 관계를 수립해야했습니다 우리는 보안 작업 방법을 고안해야했습니다 그들이 모든 것을 검토 할 수있는 곳 우리는 일주일 단위로 일을하고 있었는데, 그곳은 추적당했습니다

Jira 티켓처럼 그리고 나서 우리는 사인을 얻은 다음 진행할 것입니다 그것은하기가 상당히 어려웠습니다 약 12 개월이 걸렸습니다 나는 우리가 환상적이라고 말할 수있어서 자랑 스럽다

보안 및 기타 거버넌스 팀과의 관계 오늘, 그 중 일부는 청중에 있습니다 다음 과제는 어떻게 우리가 마이그레이션에 접근해야합니다 그리고 저는 그것을 제품처럼 취급해야한다고 강하게 느꼈습니다 그리고 그것이 의미하는 바는 제품 관리자 누가 인프라를 이해했는지, 누구에게 접근했는지 전체적으로 생각한 제품의 관점에서 우리가 어떻게해야하는지, 어떻게 그것에 대해 의사 소통을해야하는지에 관해서 패트릭, 누가 그럴거야? 이것에 대해 더 깊이 이야기하는 것이 시작되었습니다

그는 자신의 초점을 보안 관리에서 변경했습니다 제품 관리 부서에 알려 주었고 그는 그 대부분을 처리했습니다 가장 중요한 결정 중 하나 우리가 이민 과정에서 만든 실행을 시작하기 전에 어떤 구름을 사용해야하는지 알아 내려고 노력했습니다 AWS에 익숙한 사용자가 많을 것입니다 그들은 일종의 900 파운드 고릴라입니다

그리고 2 년 전 우리가 처음 시작했을 때, 우리 회사도 AWS 경로를 따라 가고있었습니다 그리고 아마 우리는 한 달 안에 있었을 것입니다 AWS와 계약서에 서명하십시오 그리고 우리는 전에 가벼운 방식으로 GCP를 보았습니다 우리는 동부 해안에서 GCP를 사용하는 일부 팀을 운영하기까지했습니다

그러나 모든 사람들은이 결정이 실제로 내려 졌다고 생각했습니다 또 다른 가능성은 없었고, 나 자신도 포함되었다 그리고 저는 CFO 인 Warren Jenson으로부터 이메일을 받았습니다 그가 말하길, 우리는 GCP를 보았습니까? 우리가 수백만 달러에 정말 가깝기 때문에 거래 그리고 나는 빨리 대답했다

그렇지만, 그렇다 그날 밤에 보낸 후, 나는 불편 함을 느꼈다 내 대답과 함께 내가 제대로 할 수 있다고 생각하지 않았다 왜 자세한 대화에서 그를 대표 하는가? AWS를 선택하고 GCP를 자세히 검토하지 않은 이유는 무엇입니까? 그리고 다음날 아침에, 나는 들어왔다

나는이 모든 수석 기술 팀을 모았다 인프라에 대해 질문하고 동일한 질문을했습니다 그리고 나는 같은 반응을 되찾았다 고 생각한다 나는 나 자신을 느꼈다 그것은 우리가하지 못했던 것이다

최근 데이터를 보았습니다 그리고 여러분 모두는 구름이 정말로 빨리 움직인다는 것을 압니다 신제품은 신속하게 개발되고 제공되며, 우리는 지난 6 개월 동안 그것을 보지 않았습니다 그래서 우리는 일주일 정도 시간을 들여서 새로운 기능 세트에서 그것이 우리 회사를 위해 원했던 것과 어떻게 연관되어 있는가 그리고 그 주 후에 우리가 돌아 왔을 때, 우리 모두는 거기에 뭔가 있다는 것을 깨달았습니다

그런 다음 더 많은 조사가 필요했습니다 그리고 나서 우리는 또 다른 3 ~ 4 주 동안 출발했습니다 Kubernetes에 깊이 잠수하려면 큰 데이터 스택, 비용, 모든 차원 그리고 우리는 그것에 집중했습니다 우리가 발견 한 것은 GCP 우리 회사를위한 훨씬 나은 솔루션이었습니다

모든 차원에서 비용이 포함됩니다 그래서 이것을 침몰 비용의 오류라고 부릅니다 AWS에 큰 투자를했다는 것입니다 그리고 우리는 그 정면을 정말로 오랫동안 진행했습니다 그리고 사실입니다, 우리는 많은 시간을 낭비했고, 많은 시간이 내려갔습니다

그 길 그러나 그것이 우리가 마음을 바꿀 수 없다는 것을 의미하지는 않습니다 그래서 우리가 GCP에 대한 결정을 내렸을 때, 우리에게는 또 다른 도전이있었습니다 소규모 엔지니어링 팀과 소규모 인프라가있는 팀, 상대적으로 말하기 우리 중 수천 명이 없습니다

누가 기존의 데이터 센터를 관리 할 것입니까? 샌프란시스코에 공동 거주하고 있습니다 우리는 약 3,000 대의 서버를 보유하고 있습니다 100 페타 바이트의 Hadoop VMware의 많은 것들 우리는 개발 팀이 미래에 집중하기를 원했습니다

우리의 과거 또는 현재 그래서 우리가하기로 결정한 것은 거기에 나가서 시도했습니다 우리를 위해 그렇게 할 수있는 회사를 찾으려면, 그 전체 작업량을 감당할 수있는 우리는 미래에 중점을 두었습니다 시리우스라는 회사를 발견했습니다 마이클 포터와 스캇 라이트

나는 그들이 청중 어딘가에있는 것 같아 그들은이 비전에 우리를 팔았습니다 사실 지난 한 달 동안, 그들은 데이터 센터의 모든 작업을 수행했습니다 우리 팀을 도와 주면서 우리 팀을 돕고 있습니다 GCP에 중점을 둡니다

일단 우리가 그 문제를 해결하면 거기 우리가 해결해야 할 두 가지 다른 것들이 있습니다 우리를 침몰시킬 수있는 두 가지 네 함선도 가라 하나는 비용 추적이었고 다른 하나는 비용 추적이었습니다 거버넌스 결정이었다 비용 추적 측면에서 우리는이 철학을 가지고 있습니다

각 개발 팀이 필요로하는 자아를 위해서 우리는 그들이 환경을 신속하게 돌리기를 원합니다 아무에게도 묻지 않고 혼자서 그러나 물론, 그것은 그들이 그 때 그들은 환경을 전적으로 회전시킬 수있었습니다 자신에

그리고 그들은 수백만과 수백만을 일으킬 수 있습니다 누구도 알지 못하는 자원 달러로 우리의 예산을 동기화합니다 그래서 우리는 초점을 맞추기 위해 다른 PM 팀을 구성하기로 결정했습니다 그 특별한 문제에 관해서 그리고 그 노력은 바로 지금 열매를 맺고 있습니다

우리는 개발자에게주는 균형이 적절하다고 느낍니다 자유는 있지만, 동시에 경고와 관계가 있습니다 해당 팀에서 직접 재정 지원을받으며, 그 도전들이 다루어지는 곳 거버넌스는 상당히 흥미 롭습니다 우리는 중요한 교훈을 배웠습니다

이전에 보안과 함께 12 개월간 당신이 클라우드에서 빨리 갈 수 있다고해도, 즉시 배포 할 수있는 경우에도, 귀하가 승인을 받았다는 의미는 아닙니다 제품을 실제로 빨리 꺼내십시오 따라서 신속한 거버넌스 결정없이, 정말로 중요하지 않습니다 그래서 우리는 엔지니어링 팀에서 다른 팀을 구성했습니다 우리는 수락 한 사람을 고용했습니다

그의 이름은 [INAUDIBLE]입니다 그리고 우리는 우리가 호출하는 프로세스를 만들었습니다 기본적으로 의사 결정을 묶는 케이크 이 Cake 프로세스를 통해 모든 거버넌스 팀으로부터 그리고 우리는 12 개월 무언가를 떠났습니다 제품을 허용하는 결정을 내리는 데 2 ​​주까지 생산에 들어가기 그래서 배운 주요 교훈의 측면에서, 내가 너와 나눌 수있는 것, 내가 너에게 생각해 주길 바라는 것 너 자신을 위해, 번호 하나, 마이 그 레이션 거대한 다차원 동물입니다

그것들은 문제들 중에서 가장 좋고 도전적인 것입니다 그게 네가하고 싶은 일이라면 너는 확실히 올바른 곳에서 나는 당신의 팀을 바로 시작하고 충분한 질문을 할 것이라고 말할 것입니다 문제를 완전히 이해할 때까지 게임 북을 사용하지 마십시오 아무것도 가정하지 마십시오

귀하의 데이터와 새로운 데이터를 지속적으로 재평가하십시오 그리고 침몰 비용의 오류에 유의하십시오 그리고 그것이 당신의 의사 결정에 어떻게 영향을 미치는지 변화하는 프로세스 또는 채용을 두려워하지 마십시오 그 과정에서 새로운 역할을 위해

가능성이 높습니다 전혀 다른 것입니다 그리고 마지막으로, 틀린 것을 두려워하지 마십시오 당신은 실수 할 것입니다 무언가의 진실을 찾으십시오

옳기보다는 오히려 성공으로 당신의 길을 되풀이하십시오 그래서 나는 마이크를 벤쪽으로 넘길거야 지금 누가 엔지니어링 문제에서 당신을 말할 것입니까? 원근법 [박수 갈채] BENJAMIN PODGURSKY : 안녕하세요

나는 Ben Podgursky입니다 나는 엔지니어 야 저는 데이터 인프라 팀에서 일하고 있습니다 우리 이주에 대해서 이야기 할 것입니다 소프트웨어 엔지니어의 관점에서 GCP로 나는 단지 강조하는 것으로 시작하고 싶다

나는이 과정에서 수석 건축가가되었다고 주장하지는 않는다 이것은 엔지니어 수십 년이 걸렸습니다 그러나 그들은 실제로 이주를 실제로 바쁘게하고 있습니다 오늘, 나는 그 중 하나입니다 마이그레이션을 설명하기가 어렵습니다

LiveRamp의 판매에 대해 간략히 설명하지 않고 우리가 어떻게하는지 마일 높은 볼 우리는 고객 데이터 세트를, 식별자 데이터를 받아 이것을 전달합니다 두 가지 방법으로 광고 기술 생태계에 먼저 배치 전달 시스템으로, 또한 실시간 키 값 전달 시스템을 사용합니다 나중에 우리 환경에 대해 더 이야기 할 것입니다 짧은 버전은이 처리의 대부분을 차지합니다 큰 Cloudera Hadoop에서 발생합니다

데이터 센터의 클러스터 다른 대부분의 응용 프로그램은 VMware 가상 시스템에서 실행되었습니다 요리사가 제공 한 것입니다 CoreOS 지각 구조 클러스터 실시간 키 값 제공 우리가 만든 자체 개발 한 오픈 소스 시스템이었다 하둡 파이프 라인에 대해 한 가지 강조하고 싶습니다

많은 회사에서 Hadoop은 부가가치입니다 그들에게는 제품이 있습니다 그들은 제품을 판매합니다 그들은 제품에서 로그 아웃되며, 그런 다음 기계 학습을하고 그로부터 가치를 얻으십시오 그건 LiveRamp가하는 것이 아닙니다

우리는 기본적으로 ETL 회사입니다 그리고 우리가 Hadoop 파이프 라인을 통해 데이터를 이동하지 않는다면, 우리는 실제로 많은 제품을 판매하지 않습니다 그리고 이로 인해 마이그레이션이 매우 어려워졌습니다 나는 나중에 그것에 대해 더 이야기 할 것이다 작년에이 모든 일이 우리의 온 프레미스 데이터에서 일어났습니다

우리 하드웨어의 대부분은 2,500 노드 Cloudera입니다 Hadoop 클러스터 밖에 큰 클러스터가 있습니다 하지만 꽤 큰 90,000 CPU입니다 사샤가 말했듯이, 약 100 페타 바이트의 원시 스토리지

VMware 클러스터에서 Hadoop 이외의 작업이 발생했습니다 500 개 이상의 VM에 대해 이 중 많은 부분이 논리 작업 전용이었습니다 Hadoop 환경에 대해 매일 약 8 테라 바이트의 데이터가 송수신됩니다 매우 약 압축 후 계산, 필터링, 정렬 등 모든 작업을 수행합니다 그래서 결국 하드웨어는 꽤 중요한 하드웨어였습니다

우리가 옮겨야 할 환경 나는 확신 할 수있는 것에 대해 이야기하지 않을 것이다 우리는 구름으로 움직입니다 사샤는 그 중 일부를 다뤘습니다 이유는, 당신이 듣게 될 것입니다, 1000 다른 회담 이번 주 브레이크 아웃 세션

우리는 빨리 움직이기를 원했습니다 Google의 엔지니어는 개발자가 아닌 개발자가되기를 원했습니다 역사적인 재 enactors 우리는 규모를 조정해야했습니다 클라우드 기반 도구가 필요했습니다

일반적인 이유 마찬가지로, 나는 많은 시간을 보내지 않을거야 그것이 당신이 여기있는 이유이기 때문에 GCP를 선택하도록 설득합니다 그러나 우리가 한 의사 결정 과정에 대해 이야기하고 싶었습니다 분명히, 우리는 기술에 관심이 있습니다

GKE는 큰 도움이되었습니다 당시 AWS는 좋은 Kubernetes 제공 물을 가지고 있지 않았지만, 우리는 실제로 제 3자를 찾지 못했습니다 설득력있는 제물 우리의 실시간 배송 팀은 다른 모든 제품보다 우월합니다 객체 저장이 필요했습니다

GCS는 다른 것들과 경쟁적이었습니다 가격은 좋았습니다 우리는 다른 사람들보다 더 좋은 가격을 가지고 있습니다 하지만 내가 강조하고 싶었던 점은 정말 우리를 위해이 선택을 한 사람들 이었습니까? Google과 대화 할 때 우리는 우리의 문제를 해결하고자하는 엔지니어에게 우리는 전체 목표가 우리를 팔 것이라고 생각하지 않았습니다 전문 지원 시간

전문적인 지원에 문제가 있다는 것은 아닙니다 훌륭합니다 하지만 우리는 근본적으로 우리의 문제에 답하고 우리를 도우려고했습니다 그리고 그것은 전체 이민을 통해 우리에게 자신감을주었습니다 그들은 우리를 돕고, 나란히있을 것입니다

문제를 통해 그리고 그것은이 과정에서 절대적으로 머물러 있습니다 그래서 우리가 우리가 이것을 현실로하기로 결정했을 때, 우리는 그것을 몇 가지 질문으로 쪼개었다 우리 시대의 건축은 무엇입니까? LiveRamp의 최소 실행 가능 클라우드 아키텍처는 무엇입니까? 우리는 어떻게 거기에 도착합니까? 클라우드에 구축 – 쉬운 일은 아닙니다 그러나 당신은 신선한 시작하게된다

클라우드 기반 기술로 시작할 수 있습니다 회사가 운영되지 않는 경우 큰 문제는 아닙니다 그러나 그것은 우리에게 사실이 아닙니다 우리는 많은 양의 인프라를 가지고있었습니다 마이그레이션하는 동안 계속 실행해야하는 프로세스가 있습니다

그리고 마지막으로 우리는 무엇을 향해 무엇을 만들고 싶습니까? 우리는 우리의 인프라가 첫날에 완벽해질 것입니다 첫날 구름이 완전히 덮일 수는 없습니다 그러나 우리는 성공을 향해 스스로를 위로하고 싶습니다 그렇다면 인프라가 처음에는 어떻게 될 것입니까? 마이그레이션 할 개발 팀 요청 힘들고 엔지니어에게 물어보십시오 그들이하는 동안 프로세스에 많은 불확실성이 추가됩니다

Next와 같은 회의에서 말하는 것은 너무 섹시하지 않습니다 하지만 드롭 인 대체물이 있었던 곳 우리 인프라의 GCP 로의 직접 번역, 우리는 일반적으로 리프트 측면에서 실수를 범했고 우리는 GCP를 가지고있었습니다 즉, 일부 제품은 매력적이었습니다 그리고 매우 직설적 인 번역을 제공했다 마이그레이션하는 동안 전환하는 것이 적절하다고 느꼈습니다 그래서 저는 변하지 않았고 변하지 않은 것을 통해 이야기 할 것입니다

그래서 무엇이 바뀌지 않았을까요? 우리의 온 프레미스 환경은 단일 논리 내부 회로망 사설 IP를 통해 전달되는 내부 서비스, 대부분 콘솔을 통해 조정되었습니다 앱 팀에서는이 점을 동일하게 유지하는 것이 중요하다고 느꼈습니다 그들은 단일 네트워크가 필요했습니다 해당 네트워크를 통해 서로 대화해야하는 앱

그리고 나중에, 특히 다리 건너편에서 더 이야기하겠습니다 우리의 네트워크 사이 모든 대용량 데이터 처리는 Cloudera Hadoop에서 발생합니다 그것은 변하지 않습니다 나는 보안 및 사생활 보호 결정에 대해 이야기하고 싶지 않다

대단히 중요하지만, 우리가 한 일의 거대한 부분 클라우드는 개발자에게 권한을 부여하지만, 고 가용성의 글로벌 배포를 쉽게 만듭니다 실수로 보안 침해 그래서 우리 작전 팀은 방화벽 통제권을 유지했습니다 허가의 관점에서 규칙들, 근본적으로, 고객 데이터를 안전하게 유지하지 못한다면, 우리는 실제로 많은 제품을 가지고 있지 않습니다

그래서 우리는 무엇을 바꾸 었는가? 전제, 우리는 우리의 모든 데이터를 HDFS에 거의 저장했습니다 그래서 우리의 HDFS는 실제로 꽤 기름칠 기계입니다 이 마이그레이션을 시도 할 때까지 그러나 그것은 매우 스트레스가 많았고 유지하기가 어려웠습니다 모든 업그레이드가 데이터 손실의 기회임을 알았습니다 또는 일종의 대참사

우리 회사가 성장함에 따라 더 많은 고객과 더 짧은 고객을 확보함에 따라 SLA가 짧아지면 어려워지고 어려워졌습니다 Google 제품 팀이 환경을 업그레이드했기 때문에 일이 잘못되었을 때 중단 시간을 원합니다 그래서 우리는 결국 기본적으로 막 붙어 있지 않았습니다 업그레이드가 가능합니다 따라서 GCP를 사용하고 나면 모든 영구 데이터에 GCS를 사용합니다

저장 우리는 지속적인 데이터를 위해 HDFS를 사용하지 않습니다 전제 조건으로 Chef를 사용하여 모든 VM을 프로비저닝합니다 우리는 Chef에 많은 응용 프로그램 로직을 내장했습니다 그리고 우리는 실제로 Chef 클라우드로 그것은 잘 작동하지 않았고 우리는 GKE가 훌륭한 제품이라고 느꼈습니다

일부 팀은 GKE를 사용하고 있습니다 우리는 모든 VM을 전환하는 것이 적절하다고 생각했습니다 우리가 이전 할 때 GKE로 넘어갔습니다 마지막으로 Google Bigtable이 우리의 자국 핵심 가치 데이터 저장소를 대체 할 수있는 훌륭한 도구입니다 우리는 모든 실시간 웹 트래픽에이를 사용할 것입니다

그래서 나는 개인적으로 대부분의 시간을 보냈다 Hadoop 클러스터를 GCP로 변환합니다 그래서 나는 그다지 많은 것을 설명하지 않고 싶다 전체적인 이야기 일 수도있는 아키텍처는, 그러나 가치에 대해 이야기하고 어떻게 해방하는지 그것은 구름 속에있다 2,500 대의 서버를 보유하고 있다면 너와 함께해야 할 일

그들은 모든 데이터를 가지고 있습니다 업그레이드를 테스트하려면, 주말에는 2,500 대의 서버를 구입할 수 없으며 규모 테스트를 수행 할 수 없습니다 그런 다음 다시 돌려주십시오 당신은 가지고있는 것을 테스트해야합니다 dev 클러스터를 설정할 수 있습니다

준비 클러스터를 설정할 수 있습니다 그러나 규모 테스트는 실제로 할 수 없습니다 따라서 GCP에서 GC VM을 사용하는 경우 사실이 아닙니다 인프라를 가동시킬 수 있습니다 기존 인프라 스트럭처를 다운시킬 필요가 없습니다

그것을 밖으로 시험하기 위하여 그리고 롤백은 쉽습니다 GCS를 사용하기 때문에 모든 것이 더 쉽습니다 그래서 이것은 우리의 능력을 정말로 4 배로했습니다 이 인프라에서 반복 할 수 있습니다

그리고이 환경을 무언가와 유지하는 것으로 바뀌 었습니다 스트레스가 많고 고통 스럽다 그것은 실제로 다시 재미 있습니다 그렇다면 GCP는 어떻게 될까요? 몇 가지 마이그레이션 전략이 있습니다 기업에 많은 고객이없는 경우 돈을 벌지 않으면 너 자신을 벗어날 수있다

전송 장치를 사용할 수 있습니다 전국으로 배송 할 수 있습니다 그런 다음 다시 켜십시오 모든 것이 작동하는 몇 주 후에 우리는 영업 팀과 점검했고, 고객, 우리는 돈을 벌어 그리고 그들은 꺼지는 생각에 행복하지 않았습니다

그래서 우리에게 천천히, 아주 조심스럽게 옵션을 남겼습니다 조율 된 마이그레이션 프로세스 그래서 우리는 우리가 필요한 것을 알고 시작했습니다 적어도 마이그레이션 프로세스 중에, 우리는 하나의 논리적 네트워크가 필요했습니다 GCP와 데이터 센터간에 팀은 속도를 낼 수 있어야했습니다 GCP의 서비스 온 프레미스 데이터 센터로 마찬가지로, 데이터베이스 호출을 공유 할 수 있어야했습니다

따라서 하나의 큰 네트워크에서 전체 회사를 덤핑하는 것을 피하려면, 우리는 헤어졌다 우리는 공유 VPC 네트워크로 분할했습니다 팀은 자체 서브 네트워크를 가지고 있으며 회전 할 수 있습니다 서비스를 제공합니다 팀은 GCP를 통해 다른 팀과 커뮤니케이션 할 수 있으며, 데이터 센터로 돌아갈 수 있습니다

우리는 클라우드 상호 연결로이 작업을 수행했습니다 그리고 이것은 정말로 중요했습니다 나는 강조하는 것이 중요하다고 생각한다 우리는 GCP에 생산 어플리케이션을 가지고 있었다 처음부터

스테이징 환경을 설정할 필요가 없었습니다 그런 다음 하루 만에 회사를 삭감했습니다 우리는 GCP를 운영하는 주말부터 서비스를 제공 받았습니다 그래서 이것은 법원의 도전 중 하나를 회사로 수출합니다 우리가 데이터 센터 GCP에서 가지고 있던 제한된 출구를 다루었습니다

데이터 센터 내부 – 그것은 거대한 데이터 센터입니다 우리는 엄청난 대역폭을 가지고 있습니다 그러나 우리는이 모든 데이터를 가져올 수 있도록 최적화하지 않았습니다 데이터 센터의 우리는 하루가 끝나면 약 50 기가 바이트로 제한되었습니다 GCP로 분명히 우리는 이것을 다시 설계 할 수있었습니다

우리는 더 큰 연결을 구축 할 수있었습니다 그러나 우리는 데이터 센터를 업그레이드하는 데 수백만 달러를 낭비하지 않았습니다 우리가 그것을 끄려고 할 때, 단지 6 개월 정도 유지해야합니다 전송 장치가 제대로 작동하지 않는 이유 우리는 LiveRamp의 데이터 중 아주 작은 부분만을 차지합니다 프로세스는 실제로 콜드 데이터입니다

우리는 끊임없이 고객으로부터 수입품을 받고 있습니다 데이터를 지속적으로 새로 고침 우리의 데이터 소스에서 데이터를 GCP로 전송하는 데 며칠이 걸릴 수는 없습니다 처리를 재개하십시오 우리가 명심해야만했던 또 다른 것 클라우드의 데이터 이탈은 매우 비싸다는 것입니다

클라우드 공급자 – Google뿐 아니라 – 모든 종류의 마약상 입구 Ingress는 완전히 무료입니다 맞습니까? 거기에 모든 데이터를 입력하십시오 훌륭합니다

그러나 테라 바이트 급의 데이터를 빼내고 싶다면, 그것은 매우 비싸게되고, 특히 그것이 일상적인 일 처리 파이프 라인의 일부라면 그래서 50 기가비트 그리고 당신은 50 기가비트처럼 좋다고 말할 수 있습니다 누구에게나 충분할 것 같은데 그리고 그것은 입력 데이터를위한 것입니다

우리는 경기에서 10 테라 바이트의 데이터를 얻습니다 고객 데이터 및 물건 그리고 우리는 하루에 10 테라 바이트 이상을 배달하지 않습니다 고객에게 전달합니다 그러나 우리가하는 일의 성격 때문에, 우리는 거대한 분산 조인을 가지고 있습니다

우리의 데이터 처리 파이프 라인의 중간에 우리는 하루에 500 테라 바이트를 읽고 쓰고 있습니다 연결을 끊으면 팀이 매우 쉽습니다 잘못된 위치에서 완전히 상호 연결을 포화시킬 수 있습니다 이것은 복잡한 문제입니다 우리는 그것으로 전체 이야기를 채울 수 있습니다

그러나 짧은 버전은 우리가 내부 서비스를 팀을위한 우선 순위 방식으로 데이터를 복사합니다 팀은 서비스를 위해 인터커넥트를 자유롭게 사용할 수 있었다 및 데이터베이스 호출을 포함하지만 데이터 인프라 팀 모든 제출 된 사본을 처리했다 우리는 그 (것)들을이 서비스에 복종시키기 위하여 그 (것)들을 요청했다 이를 통해 생산 데이터 전송의 우선 순위를 결정할 수 있습니다

짧은 SLA를 가진 제품, 우리가 약속 한 제품 매우 짧은 시간 내에 고객에게 전달됩니다 저온 데이터가 전송되면 우선 순위를 낮출 수 있습니다 그리고 결국 그것은 일어날 것입니다 정말 비판적으로 또한 주어진 대역폭에서 누가 우리 대역폭을 사용했는지에 대한 우리의 통찰력 시각 따라서 우리 팀이 파일을 직접 복사하는 경우, 당신은 TCP 덤프 주위에 몸을 피워야 할거야

2시에 누가 인터커넥트를 사용하고 있었는지 알아 내기 위해 AM 어제 밤, 그래서 모든 것이 실패했습니다 대신 Datadog 대시 보드를 살펴볼 수 있습니다 그리고 오, 앱 X는 오전 2시에 대역폭의 xyz를 사용하고 있었다고 말합니다 이러한 제약 조건은 전체 구조를 결정했습니다 데이터 이전에 대한 우리는 우리 파이프 라인의 끝에서 시작했습니다

애플리케이션을 마이그레이션 할 것입니다 HDFS에서 직접 데이터를 가져 오는 대신, 그들은 인프라 데이터 복제기를 호출 할 것입니다 서비스는 HDFS에서 입력을 복사하는 것을 처리합니다 다시 GCS로 그리고 평소와 같이 그들을 소비 할 것입니다

업스트림 응용 프로그램이 이전되면, 더 이상 복제를 수행 할 필요가 없습니다 데이터는 기본적으로 GCS에 존재하지만, 우리는 그 과정을 계속할 것입니다, 꼬리 처리 파이프 라인의 머리로 그리고 그 곳에서 우리는 현재 중도에 대한 회사로 있습니다 그것을 통해 우리가 여전히 우리가 연결을 포화시키지 않았다 그러나 이것이 우리가 이전 한 방법의 전반적인 구조입니다

그래서 그것은 매우 요약 된 버전입니다 우리가 GCP에 어떻게 접근하고 있는지 마지막으로 가장 흥미로운 질문은 다음에 오는 것입니다 우리는 어떻게 일을 다시 엔지니어링 할 것인가? 클라우드 기반으로 실제 업무에? 나는 경찰에 나가서 너에게 말할거야 우리는 아직 실제로 그 질문에 대한 강한 대답을 가지고 있지 않습니다

실시간 쿼리를 위해서는 최소한 Bigtable이 필요합니다 Bigtable에 실시간 쿼리가 포함됩니다 상당량의 BigQuery가 포함됩니다 임시 쿼리의 경우 경량 데이터의 데이터 흐름 변형 하지만 내가 모르는 주된 이유는 개발자 주도형이 될 것입니다

우리의 목표는 인프라 팀을위한 것입니다 더 이상 이러한 결정을 내릴 수 없습니다 인프라가 도움이 될 것입니다 인프라는 사람들을위한 도구를 구축 할 것입니다 그러나 하루가 끝날 무렵에는 구름 속에 있었고, 개발자가 인프라를 프로비저닝 할 수 있음을 의미합니다

적절한시기에 필요할 때 필요합니다 그래서 목표는 내년에, 잘하면, 일부 응용 프로그램입니다 팀이 6 시부 터 취한 방법에 대해 이야기 할 것입니다 60 분의 BigQuery로 바꿨습니다 응용 프로그램 또는 Bigtable 스크립트 또는 뭔가 하지만 우리가 말할 수는 없으니까

아직 거기에 없다 그래, 그게 내가 가진 전부 야 나는 물건을 패트릭에게 돌려 줄 것이다 고마워, 모두들 [박수 갈채] PATRICK RAYMOND : 안녕하세요, 고마워요

제 이름은 패트릭 레이먼드입니다 인프라 스트럭처의 제품 관리자입니다 LiveRamp에서 소대 이 마이그레이션에 대해 이야기하고 싶습니다 사샤가 말했던 것처럼, 우리는 생각하고 싶었습니다

이것에 대해서는 조금 다르게 어쩌면 PMO 또는 프로젝트 관리에 특정한 것보다, 제품 자체와 같이 생각하면됩니다 그래서 당신은 사샤와 벤의 주제를 들었다 이것은 거대하고 복잡한 문제입니다 그리고 일들이 많이 바뀔 것입니다 그래서 조금 혼란 스러울 수 있습니다

그리고 그것은 약간 압도적 일 수 있습니다 그리고 당신은 당신이 네가 네 인생을이 왼쪽에 보냈다는 느낌, 당신은 아마이 디자인의 삐걱 거리는 소리에 익숙 할 것입니다 그러나 이것은 우리 프로세스와 매우 유사합니다 처음 시작했을 때, 우리의 모든 질문 대답이 여기 왼쪽에 나온 것처럼 느껴졌습니다 그러나 우리가 팀과 반복하기 시작하면서, 우리는 우리가 가고 있지 않다는 것을 깨달았다

이 질문에 대한 완벽한 대답을 찾으십시오 그래서 우리는 시간이 지남에 따라, 우리는 더 많이 오른쪽 방향으로 움직였습니다 그리고 일이 훨씬 더 분명 해지기 시작했습니다 그래서 아마도 이것은 아마도 중요한 일이라고 생각합니다 이게 당신 회사가 뭔가라면 너 한테 일어난다

준비하기 때문에 어딘가에 뛰어 들기가 가장 좋습니다 의사 결정을 시작하십시오 Ben은 또한 팀이 의사 결정을 내리고 있다고 언급했습니다 자신의 인프라에 대해 그래서 우리는 또한이 구별에 대해서 생각하고 싶었습니다

데이터 센터에서 클라우드로 마이그레이션 할 때, 물론, 당신에게 유용한 도구가 많이 있습니다 그러나 모든 문제를 즉시 해결할 수는 없습니다 당신이 들었던 것처럼, 우리가하고있는 것들 중 일부는 순수한 상승과 교대 일뿐입니다 그래서 우리가하지 않는 것이 중요합니다 모든 이해 관계자에게 곧 약속한다

당신이 구름으로 이동할 때, 당신의 모든 문제가 해결됩니다 왜냐하면 그것은 사실이 아니기 때문입니다 그리고 우리는 브랜드로 끝나지 않을 것입니다 새로운 회사 그래서 우리는 문제의 범위를 정확하게 정하고 싶었습니다

이해 관계자들이 이해할 수있는 우리가 조사한 것 그래서 나는 지금 조금 이야기하고 싶다 이해 관계자의 의견 수렴에 대해 이 아이디어를 중심으로 우리가 한 일은 우리가 제공 할 가치를 명확히함으로써 우리는 또한 일을하지 않는 비용에 대해서 이야기하고 싶었습니다 그리고 주로 우리가이 기능을 수행 한 기능입니다 그래서 아마도 위의 성명서 여기 모두가 깊이 이해할 필요가있다

당신이하려는 일 이해 관계자가 누구인지 알아야합니다 아마 어리석은 짓을하는 것 같아요 하지만 너는 스스로에게 많은 질문을 할 수있다 누가 인프라를 소비하는지, 누가 당신에게 보안을 제공 할 예산을 보유하고 있습니다 규정 준수 승인 클라우드에서 작동해야합니까? 그리고 그것들은 당신의 이해 관계자들입니다

그리고 그들은 모두 다른 것들에 관심이 있습니다 따라서 서로 다른 방식으로 정렬하는 것이 중요합니다 그리고 우리의 임원 팀에게는 우리가 그들을 도울 수있는 방법에 관해 그들과 이야기하고 싶었다 미래의 목표, 우리가 도울 수있는 방법 그들은 이윤을 높이고 앞으로 나아 간다 회사 이니셔티브와 함께 우리의 개발자들은 새로운 인프라를보다 나은 방법으로 활용하는 방법, 자신의 배를 선장하여 자신의 제품을 만들 수 있습니다

그리고 우리 제품 팀은 제품에 대한 통찰력을 원합니다 비용에 대한 세분화 된 이해를 원합니다 그리고 제가 말씀 드렸듯이, 일을하지 않는 비용 우리에게는 계속 된 비용이있었습니다 온 프레미스 데이터 센터의 지속적인 비용 부족이 있습니다

더 복잡하고 제한적인 제품이 있습니다 기존 데이터 센터에서 작업 할 때 그리고 우리가 이것을 사교적으로 이해할 때, 우리는 Ben이 말한 것처럼, 사람들은 우리가 계속 돈을 벌기를 원했습니다 그래서 우리는 제품을 선적해야했습니다 그래서 우선 순위를 정하는 방법을 알아야했습니다 이해 관계자들이 주위에 정렬

그리고 당신에게 규모의 아이디어를주기 위해서입니다 우리가 우선 순위에 대해 이야기하고있는 것, 우리는 5 개국에 22 개의 팀을두고 있습니다 아마도이 방에있는 많은 사람들과 매우 비슷할 것입니다 전 세계에 걸쳐 이러한 유형의 우선 순위를 유지합니다 1 년 넘게 할 일은 매우 어렵습니다

하지만 가능합니다 따라서 이것은 매우 명백한 진술입니다 그러나 모든 것이 최우선 순위 일 때 각 팀마다, 우선 순위를 매길 수는 없습니다 따라서 운송을 계속해야한다는 것을 알고 있습니다 우리는 모든 사람이 그들에게 최우선 순위

그러면 우리는 그걸 어떻게해야합니까? 우리는 어떻게 그 일을합니까? Sasha가 언급 한 것처럼 모든 팀 스크럼을 어떤 형식이나 방식으로 사용하십시오 각 팀이하는 일 중 하나 그들은 비즈니스 가치 회의를 가지고 있습니다 그리고 제품 관리자로서 저는 참석하는 데 관심이 있습니다 모든 비즈니스 회의 및 비즈니스 가치 회의, 그들이 작품 가치를 이해하도록 돕는다 우리가 할거야

나는 회의에 올 것이고 말할 것이다 일의 비용, 이야기 일을하지 않는 데 드는 비용에 관해서도 도움이된다 엔지니어링 팀은 그들이 할 수있는 것을 이해합니다 클라우드에서 이익을 얻으십시오 여기에서 가장 큰 것은 실제로 존재해야합니다

참석할 많은 모임이 있습니다 하지만 모두가 이해할 수 있도록 거기에 있어야합니다 가치 그리고 거기에 계신다면 약속하지 않는 것과 같은 것에 대해 이야기 할 수있다 네가 지킬 수는 없지만 큰 이점에 대해 이야기해라

OC 시간 단축, 반복 증가 신제품의 속도, 투명하게 비용을 드러냄 엔지니어가 내게 말한 것이죠 나는이 모든 모임에 순찰을 가면서 너는 너의 모든 시간을 헌신적으로 보낼 수 없다는 것이었다 비즈니스에 도움이되므로 빌드하는 것이 중요합니다 노력을 밑에서부터

그래서 마음과 마음을 이길 수 있다면 엔지니어링 팀 중 그것들은 우선 순위를 정하는데 도움이됩니다 그것은 당신을 위해 훨씬 쉽게, 너의 구석에서 싸우는 사람들이 많기 때문에 우선 순위가 정해 지도록하려면 이 일을하는 유일한 사람이되기보다는 그리고 나는 과도한 의사 전달이 정말 귀중합니다 이것은 사샤가 제가 배운 것을 도운 것입니다 당신은 기본적으로 요점에 도달해야합니다

당신이 방에서 성가신 사람인 것처럼 느껴지는 곳 모두가보기 싫어하고, 나는 그 시점에서 생각한다 아마 요점에 다다를거야 귀하의 메시지가 분명 해지고 반복해서 반복했다 그리고 또한 기억하는 것이 중요합니다 이러한 모든 팀 및 이해 관계자와 함께, 그렇지 않은 경우 우선 순위에 대해 이야기하면 다른 사람이 될 것입니다

그리고 새로운 제품을 가진 사람들이 많이있을 것입니다 새로운 아이디어, 그리고 새로운 수익 창출 방법을 제시합니다 그러니 나가서 모든 사람이 이것을 정기적으로 이해합니다 그래서 우리는 주간지 모임에 참석함으로써 그렇게합니다 정기적 인 제품 회의 참석, 우리가 할 수있는 기회가 있다면 어디에서나 발표 할 수 있습니다

우리는 또한 많은 위험에 대해서 이야기합니다 분명히, 끊임없이 일어날 것입니다 그래서 너는 그 일들보다 앞서 나가고 싶어 그 (것)들을 완화하는 당신의 계획을 개발하십시오 그래서 우리가 시도한 한 사람의 쇼처럼 불가능합니다

잠시 동안,하지만 당신은 도움이 필요한 사람들을 고용해야합니다 당신은이 아이디어를 나타냅니다 그래서 우리는 훌륭한 팀을 고용했습니다 그것은 작은 팀이지만 열렬한 두 사람 이 메시지를 전달하는 데 도움을 준 사람 이러한 일정이 가능할 것입니다 그리고 제가 언급 한 것처럼, 우리가 생각하기 전에 정말 다른 관점에서 계획하는 것에 대해서도 마찬가지입니다 우리는 가능한 한 마른 상태로 유지하려고했습니다

우리는 무슨 일이 일어나고 있는지 이해하기에 충분한 계획을 세우고 싶었습니다 그러나 우리는 크게 방해받지 않으려 고했습니다 우리는 개발자들이 이 문제를 해결하는 것이 문제에 가장 가깝습니다 그들은 가장 많은 접촉을 가지고 있으며, 그들은 이런 일을하는 가장 좋은 방법을 우리에게 말해 줄 수 있습니다 그래서 우리는 모든 프로세스가 계획을 세우는 것이 기본적으로 배경이었습니다

정보 수집 장소였습니다 우리가 진행하고있는 진전을 이해하기 위해서, 그러나 그 과정 자체는 무거운 짐을 덜어줍니다 수 많은 스프레드 시트와 업데이트에 관한 회의가 아닙니다 그리고 우리는 우리 자신을 팀으로 생각합니다 그것은 다른 모든 팀 사이의 결합 조직입니다

그래서 우리는 정보의 올바른 균형을 찾고 싶었습니다 이해 관계자들은 실제로 무엇을 했습니까? 이 다른 옵션들과 비교하여, 알고 싶어합니다 우리가 계획을 위해 사용할 수있는 것 그래서 우리는 물었습니다 그리고 이것이 그들이 원하는 것입니다

믿기지 않게 간단합니다 그러나 누가 일하고 있는가? 얼마나 진전 되었습니까? 그리고 얼마나 많은 사람들의 거대한 카운터 마감일까지 남은 일 이것은 회사 전체에서 광범위하게 출판됩니다 누구나 그것에 접근 할 수 있습니다 그리고 우리는 이것이 업데이트되었는지 확인하려고 노력합니다

이것은 실제로 자체적으로 정기적으로 업데이트됩니다 그것은 완전히 자동화되어 있습니다 그러나 우리는 이것이 노출되어 있는지 확인하기를 원합니다 그래서 우리는 월 1 회 이그 제 큐 티브 스테이크 홀더 회의뿐만 아니라, 다시, dev에 회의 및 제품 회의 이 전체 프로세스의 핵심은 Sasha입니다

이전에 Cake 프로세스를 언급했다 거버넌스 승인 우리는 프로젝트 계획을 수행하는 방법과 동일한 방법으로 생각했습니다 그래서 우리는 정말 간단한 방법을 개발했습니다 Jira 제품 로드맵

마이그레이션하는 각 팀마다 티켓이 있습니다 매주 우리는 일을 정리 한 목록을 기록합니다 우리는 알고 싶어합니다 그들은 모든 응용 프로그램에 대해 일련의 하위 작업을 수행합니다 그들이 이주하고 있다는 것을

그리고 그들은 티켓을 업데이트합니다 이것이 모든 22 개 팀의 단일 진실입니다 우리는 무슨 일이 일어나고 있는지 정확히 알고 있습니다 그들은 우리에게 업데이트를 제공합니다 그리고 그 정보는 모두 다음과 같습니다

미끄러 져서 우리 대시 보드에 완전히 넣었다 자동으로 그래서 이것은 우리에게 정말로 도움이되었습니다 그런 결정은 한 곳에서 녹화되며 모두에게 제공됩니다 보다 그래서이 모든 것들이 훌륭합니다

그러나 변화는 정기적으로 일어난다 그래서 우리는 작업 우선 순위를 낮출 수있는 방법이 필요했습니다 우리는 물건이 완전히 옆으로 빨리 갈 수 있다는 것을 압니다 새로운 개인 정보 보호 규정이 생길 수 있습니다 아무거나는 일어날 수있다

우리 사업만큼이나 그렇습니다 에 따라 영향이있을 것이라는 점에 동의합니다 우리가하는 변화와 모든 사람에게 앞으로 나아가는 것에 동의한다 우리는 그것으로 완전히 멋져요 다시 Jira 프로젝트를 사용합니다

변경 사항이 발표되면 기록됩니다 Jira 티켓에 넣은 다음 모든 이해 관계자 팀과의 만남 결정을 내리고, 우선 순위가 결정되며, Jira 티켓에 기록됩니다 모두가 볼 수 있도록 다시 게시됩니다 일어날 일에 대해 의문의 여지가 없습니다 모두가 변화와 모든 것을 알고 있습니다

영향을 이해합니다 그래서 그것은 당신을 위해서도 변할 것입니다 그리고 나는 괜찮다고 생각한다 나는 그것이 일어날 것이라는 것을 당신이 안다는 한 오래 생각합니다 그리고 당신은 그걸 준비하고 있습니다

그렇다면 정말로 그렇게해서는 안됩니다 너무 어려워 그래서 실제로 들었습니다 미안, 나는 조금 앞으로 뛰어 올랐다 그래서이 부분도 생각하고 있습니다

우리 팀에 대한 우리의 생각 앞으로 올 모든 변화에 대비할 준비가되어 있습니다 그래서 그들은 자체 인프라를 소유하게 될 것입니다 우리가 시작했을 때부터 큰 변화입니다 그들은 이전에 없었던 일들에 책임이 있습니다 새로운 팀을 시작하기위한 프로세스에 대해 생각할 때 그들의 일, 우리는 그들에게 많은 시간을 보내 게한다

도구를 알게되고, 훈련을 받고, 이미 개발 팀과 협력 전에 이것을 통해, 그리고 실제로 새로운 기술로 무슨 일이 일어나는지 이해하십시오 그들이 사용할 거라고? 그래서 우리는 그 시간의 우선 순위를 정해야합니다 우리는 모든 팀에 투자해야합니다 그리고 가장 중요한 것은 이것이 아마도 프로젝트에서 자주 언급하지 않는 것 그러나 우리는 우리 팀을 정말로 염려합니다 우리는 우리가 많은 것을 요구하고 있다는 것을 이해합니다

키보드에 손을 댄 사람입니다 매일, 그리고 그들은 만드는 사람들입니다 이 변환이 가능합니다 그래서 우리는 그들의 일에 감사하는 시간을 많이 보냅니다 그리고 우리는 우리의 경영 팀, 제품 팀, 엔지니어링 팀은 모두이 작업을 인식합니다

그래서 충고의 큰 조각 – 당신의 프로젝트로 곰팡이를 깨뜨리는 것을 두려워하지 마십시오 우리는 개인적으로 파티하기를 좋아합니다 그런 거대한 프로젝트 – 지속적인 1 년 프로젝트와 같습니다 사람들은 매우 피곤하고 일종의 떠남에 대해 생각하며, 아니면 그들은 떠날 것입니다 그러나 우리는 모두가 완료되는 작업의 이점을 이해합니다

그래서 저는 Kelsey Hightower의 인용문을 닫고 싶습니다 우리가 서명 한 직후, 우리는 고객 회의를 가졌습니다 우리가 참석했다 그리고 우리는 그가 우리가 유일한 회사라고 말했다 그걸 들었다고 스스로 들려서 거대한 파티를 열었 어

구글과 계약을 맺은 후 그래서 이것은이 과정에 대한 우리의 생각을 구현합니다 일어나는 모든 것은 축하받습니다 우리 셋이 여기까지 올거 같아 오늘이 자리에 서게되어 매우 운이 좋았습니다 LiveRamp에서 위대한 팀

그리고 나는 그들 모두에게 고맙다고 말하고 싶다 매일 이것을 가능하게하기 위해서 [음악 재생]

Introduction to Advanced Statistical Techniques and Its Applications | Data Analysis -Great Learning

여러분 안녕하세요 고급 통계 모듈에 오신 것을 환영합니다

이 모듈에서, 우리는 분산 분석, 선형 회귀 분석 분석, 주성분 분석 요인 분석 이 기술들 그들은 analytics 산업에서 광대하게 적용됩니다 그것들은 분석 산업의 기반이됩니다 몇 가지 예를 들어 보겠습니다 간단한 예 그게 마케팅이야

매니저는 고객에 할인은 판매를 증가하고 있습니다 아닙니다 예를 들어 보겠습니다 10 % 할인 수준이 좋습니다 또는 20 % 할인 수준이 좋거나 30 % 할인 수준입니다 좋은가요? 다음 중 어느 수준으로 증가시킬 것인가? 판매

판매에 어떤 영향을 미칩니 까? 이 질문에 어떻게 대답합니까? 그래서, 아마도 당신은 도구, 분산 분석이라고합니다 마찬가지로, 당신이 이해하고 싶다면 어떤 채널이 당신에게 가장 높은 점수를 주는지 증가의 관점에서 수익 너는 광고하고 있는다고해라 TV, 신문, 디지털을 통한 제품 채널 그리고 어떤 채널을 이해하고 싶습니까? 너에게 더 많은 것을주고있다

수익 그럼 너 아마 보았을거야 ANOVA와 같은 도구의 혼합 회귀 분석 예를 들어 당신이 원하는 것을 말하십시오 비율 스포츠 선수

예를 들어 평가하고 싶다고합시다 IPL 타자 또는 IPL 중계자 예를 들어 타자의 경우에 대해 말하십시오 너는 생각할 수있다 귀뚜라미의 점에서의 물건, 예를 들면 얼마나 타자 파업 률, 50 대 수 100의 수

4의 숫자, 6의 수 이 모든 것이 데이터를 구성합니다 이 데이터가 있으면 지금해야합니다 타자를 어떻게 평가합니까? 그런 시나리오에서 당신은 다음과 같은 특정 도구 주요 구성 요소 분석 이 특별한 도구 에서 광범위하게 적용된다

등급 도시, 그들의 생활 조건, 또는 인간 개발 지표 이렇게 많은 다른 분야 이 특정 기술을 적용 할 수 있습니다 하지만 네가 스포츠 분석에 대해 이야기하고 싶습니다 선수를 평가하고 싶다 등급 의미 선수들에게 더 많은 돈

그래, 그래서 스포츠 분석이 관심있는 분야라면 너는 신청할 수있다 이 모든 개념들도 거기에 있습니다 괜찮아 자, 예를 들어 당신은 사람들이 내 브랜드를 어떻게 인식하고 있는지 알고 싶습니다 괜찮아

귀하의 브랜드는 특정 속성 및 사람들 브랜드 평점 그 속성은 또한 아주 중요한 것입니다 예를 들어 보겠습니다 몇 가지가있는 자동차 산업 자동차 호화로운에서 시작 자동차 보통의 자동차 종류 자동차도 생각할 수 있습니다 말하자면 가족 차는 전형적으로 구성한다, 너 뭐라고 말하고, 안전하고, 경제, 낮은 정비, 신뢰할 수 있습니다

괜찮아 이것들은 우리가 원하는 특성들입니다 가족 용 자동차에 대해 설명합니다 그럼 이제 너는 어때? 주어진 브랜드가 같은 속성 집합 낮은 유지, 경제, 신뢰성, 운동가 다운, 옥외, 거친, 호화로운 브랜드가 정확히 어디에있는가 고객의 마음 속에 자리 잡고 있습니다

브랜드가 어떻게 인식되고 있는지 알고 싶다면 당신은 기술을 배우고 싶다 요인 분석 괜찮아, 그래서이 특별한 모듈에 우리는 당신을 도울 기술을 다루게 될 것입니다에서 다른 사람들보다 약간의 우위를 점합니다 그래서 이것을 적용하면 이 기술들에 당신의 기술을 보여주십시오 업계에서 당신은 분명히 종류가있다 나머지는

우리는 심지어 재무 분야의 예 신청 방법 마케팅 분야에서 이러한 개념을 어떻게 적용 할 것인가? 범죄 분야에서 어떻게 이러한 개념을 적용 할 수 있습니까? 범죄가 다른 범죄가되고 있음을 기억하십시오 분석을위한 잠재력이 높은 산업 괜찮아 보건 산업 분야에서 어떻게 이러한 개념을 적용 할 것인가? 그래서, 이러한 특정 도구는 산업 또는 특정 분야이지만 광범위하게 적용됩니다

어디에나 재무 예를 들어 보겠습니다 금융 예를 들어보고 싶은 경우 1 년 기계 장치 금리, 2 년 기계 장치 금리, 3 년 계좌, 4 년 계좌 시장 상대적인 그 이자율은 움직이고 있습니다

어느 악기가 함께 움직이는 지 어느 악기가 함께 움직이지 않는지 또는 금리에 대해 갖고 싶은 생각이나 이 계좌에 대한 이자율 네가하는 일은 너를 달리는거야 모델은 주성분 분석으로 불린다

괜찮아 그래서 어디에서나 이 기법들이 적용되고 때때로 이 모델들의 출력은 다음과 같이 취해진 다 다른 모델과 동일합니다 예를 들어 다른 모델의 경우 요소 분석의 경우 구성 요소 분석 당신은 주 구성 요소 점수라고 불리는 출력을 얻습니다 요인 점수

어느 것을 사용 하는가? 에서 클러스터링 분석 또는 회귀 분석에서 다시 등등

Big Data Analytics Program Preview – Presented by McMaster Continuing Education

– 안녕하세요, 모두들 온라인 정보 세션에 오신 것을 환영합니다

Big Data Analytics 인증서 프로그램의 경우 내 이름은 Nancy McQuigge입니다 나는 프로그램 매니저이다 이 특정 인증서 프로그램을 위해 나는 오늘 우리 세션을 촉진 할 것이다 오늘 우리 웹 세미나의 의제 다음과 같습니다

분석 및 대용량 데이터에 대해 간단히 살펴 보겠습니다 프로그램을 누가 가져야하는지 조금 이야기하십시오 일부 기능 및 이점 구조와 일정을 검토하십시오 그래서 어떻게 작동하는지 이해하게됩니다

입학 요건 그리고 나서 다시 한 번 떠날거야 끝에 몇 가지 질문과 답변이 있습니다 방금 언급했듯이 입력 할 수 있습니다 우리가 따라갈 때 채팅 상자에 입력 할 수 있습니다

아니면 그냥 끝까지 기다렸다가 그들을 넣어 그들이 들어올 때 나는 질문에주의를 기울일 것이다 그러나 다른 사람들의 스케줄을 존중하기 위해서, 아마 대부분의 대답을 떠날거야 웹 세미나가 끝날 때까지 따라서이 프로그램은 평생 교육에서 제공됩니다 당신과 함께 개발하여 빅 데이터, 데이터 분석 및 데이터 파이낸싱의 역량

이 특정 슬라이드 개요의 포인트 일부 프로그램 목표 또는 결과 당신이 볼 수 있듯이, 빅 데이터 프로그램의 많은 초점은 당신이 배우는 것에 달려 있습니다 분석하고, 해석하고, 그 분석적 질문을 풀어 라 비즈니스 또는 운영 내에서 다가오고 있습니다 코스의 내용이 귀하에게 제공됩니다 당신의 경력을 시작하기위한 지식과 기술로 분석 분야에서 큰 수요가 있습니다

온라인에서 찾을 수있는 많은 연구가 있습니다 이 성장에 대한 다양한 자료와 보고서 스킬 갭이 밖에있다 데이터 분석 분야의 숙련 된 인력에 대한 필요성 등이 포함됩니다 다시 말하면, 데이터 분석 및 빅 데이터 내에서 발견 된 기술 수요가 많은 산업 분야에서 발견된다 금융, 보험, 소매, 전자 상거래, 건강은 점점 커지고 있습니다

거의 모든 산업 또는 비즈니스를보고 있습니다 데이터 분석을 사용할 수있는 방법이 있습니다 비즈니스 (오디오 결함)를 돕기 위해 그 비즈니스 문제 에 의해 수행 된 다중 부문 연구가있었습니다 2015 년에 완료된 캐나다의 빅 데이터 컨소시엄 캐나다의 큰 데이터 재능 격차 10,000 명에서 19,000 명 사이의 전문가로 추산되었다

데이터 및 분석 기술을 소유 한 사람 필수 또는 산업 분야 전문가 그들은 찾고 있습니다 전문가와의 격차 더 나은 결정을 내릴 수있는 견고한 데이터 및 분석 능력 또 다른 150,000에 대해 추정했다 2018 년에도 LinkedIn이 출시되었습니다 보고서를 배우는 작업장 조사에서 약 4,000 명 LinkedIn의 전 세계 전문가 사진 제공의 의도로 현대 직장에서의 학습 요구 사항 현대 직장 환경 보이는구나 이 보고서의 일부로 LinkedIn은 회원들의 데이터를 사용했습니다

기술과 요구 사항을 파악하기 위해 그들이 찾고있는 것을 찾고 찾았다 2 위는 통계 분석 및 데이터 마이닝 이러한 기술은 비즈니스 분석, 데이터 및 분석 그리고 분명히, 확장, 큰 데이터 더 큰 데이터 세트로 작업 할 때 분명히 우리가 언급했듯이, 대용량 데이터 및 데이터 분석이 계속되고 있습니다

다양한 종류의 기업 및 산업 이것이 우리가하고 싶은 일입니다 이 특별한 프로그램에서 그 기술과 지식을 제공하는 것입니다 당신은 당신의 기술을 키울 수 있어야합니다 다른 분야에서 일하기 위해서 분석 내에서 다양한 유형의 역할을 수행 할 수 있습니다 이를 위해 각 과정은면 대면 수업에 중점을 둡니다

데이터 분석 분야 전문가 우리는 당신에게 지식과 개념을 제공하고자합니다 이론과 필요한 다양한 조각들 컴퓨터 실습에 동참하십시오 그래서 때로는 컴퓨터 랩에 수업이있을 수 있습니다 랩톱 컴퓨터 가져 오기 요청되는 다른 클래스 테이블 연습 활동을 완료합니다

이러한 특정 실습 활동에서, 우리는 당신이 강사를 적용하기를 원합니다 수업에 방금 발표했다 특정 도구 또는 소프트웨어 사용 데이터 프로젝트 유형에 적용 가능 당신이 일하고있는 그 특별한 기술을 배우는 것 고용주가 찾고있는 비판적 사고 우리의 강사는 프로그램의 핵심입니다 그들이 가진 것처럼, 현장 전문가 다양한 산업 분야에서 일하고있다

그래서 그들은 실제 경험을 여러분에게 가져옵니다 다양한 기술과 지식을 제공 할 수 있어야합니다 사람들을 고용 할 때 그들이 찾고있는 것 전문가의 세계에서 볼 수 있습니다 그리고 그들이하고 싶은 것은 그들은 다른 조합으로 너에게 올거야 그들의 전문 기술을 연구 기술 및 때때로 사용하는 기술 데이터 분석 및 교육 경험 그들은 다른 사람들을 훈련시키고 다른 사람들에게 특정 분야

구성 요소를 결합하거나 섞기 위해서 데이터 분석, 데이터 과학, 빅 데이터, 예측 분석 그래서, 다시, 그들은 열쇠입니다 왜냐하면, 우리는 당신이 그 강사로부터 배울 수 있기를 바랍니다 그 실제 업계 특정 정보를 가지고 그들은 현장에 열정을 가지고 있기 때문에 중요합니다 그들은 당신의 학습을 돕기를 원합니다

기존 기술을 사용하거나 확장 할 때, 새로운 직업 경로를 찾는다 이 프로그램은 개인을 위해 설계되었습니다 대학 학위 또는 대학 졸업장 여기에 나열된 일부 프로그램 영역에서 첫 번째 총알에 그래서, 컴퓨터 과학, 기술 배경, 수학, 통계, 건강, 비즈니스 또는 엔지니어링을 포함합니다 그것은 우리가 부르는 것입니다, 포스트 학위 또는 디플로마 프로그램, 이미 가지고있는 요구 사항이 있음을 의미합니다

시작하기 전에 기초 기술을 습득하십시오 또한 특정 기술 경험을 가진 개인 일부 분석 경험이나 연구 또는 작업 종종 프로그램에 적용됩니다 프로그램의 과정은 현재를 보입니다 관련 분야의 지식과 기술 데이터 과학, 데이터 분석 및 빅 데이터 해당 영역이 어떻게 관련되어 있는지 보여주기 위해 사용될 수있는 다른 도구를 제시하는 것 당신이 당신을 적용 할 때, 미안, 당신의 지식 기술을 적용 할 때 따라서 프로그램에 관심이있는 개인 새로운 경력 경로를 찾는 사람들을 포함 시키십시오

새로운 직업 역할을 가진 개인 그들은 몇 가지 것을 스스로 배웠습니다 이제 그들은 더 구조화 된 프로그램을 원합니다 그 기술을 축적하고, 그들은 새로운 직위를 신청하려고합니다 조직 내에서 또는 그들이 다른 유형의 일자리로 조직을 옮길 수있다 분석에있어 이러한 기술을 확장하고 싶습니다

다시, 데이터 분석 분야가 발견됩니다 수많은 비즈니스 및 산업 분야에서 그것은 거의 모든면에서 거의 감동을줍니다 비즈니스 및 다양한 유형의 역할 많은 기회를 제공하는 경력을 쌓는 사람 또는 다른 성장 기회 부문 내에서 그리고 나는 마지막 탄환에 몇 가지를 나열했습니다 슬라이드에서,하지만 다시, 당신이 하나를 나열하자 마자, 다가올 뭔가가있다 물류 및 운송 또한 거대합니다

그러나 다른 지역의 톤 그러한 영향이 어떻게 나타나는지 보여주는 연구 이 특정 분야는 비즈니스에있을 수 있습니다 및 다른 산업 따라서 프로그램 페이지를 항상 확인하십시오 우리 웹 사이트에 그리고 우리는 '나를위한이 프로그램인가?'라는 섹션을 가지고 있습니다 고려해야 할 몇 가지 질문을 제공해 드렸듯이 생각하고 있다면 몇 가지 리소스와 함께 이 특별한 프로그램

특히 그것이 당신이보고있는 새로운 영역이라면 시작하기 만하면됩니다 평생 교육은 또한 입문 과정 및 기초 과정 분석 프로그램의 기초로 이들은 찾고있는 사람들을 위해 고안된 것입니다 데이터 분석에 들어가기 또는 이전 학습 중 일부를 새로 고침 그들이 큰 데이터 프로그램을 시작하기 전에 따라서 특정 지역에서 가장 인기있는 코스 통계의 기초를보고있다 또는 상쾌한 통계 교육 몇 년 전에 공부했을지도 모르는 그것들은 학생들에게 도움이되는 것처럼 보입니다

그들이 큰 데이터 프로그램에 뛰어 들기 전에 나는 그 과정들을위한 프로그램 미리보기를하고있다 데이터 분석의 기초 다음주에 예정되어 있습니다 그래서 3 월 5 일, 그래서 당신이 더 많은 것을 배우고 싶다면 그 특정 코스와 우리가 제공하는 것들, 그 분야를 토대로 그 기초 기술을 쌓아 갈 것입니다 더 많은 것들에 대해 몇 가지 다른 이야기를 나누십시오

비즈니스 분석 제발, 비즈니스 인텔리전스, 미안 해당 웹 세미나에 체크인하여 가입하십시오 항상 확실한 특징과 이점이 있습니다 계속 교육 프로그램에 가입하십시오 파트 타임 프로그램의 이점, 프로그램 오퍼링, 학업 프로그램을 마칠 수있는 능력이 필요합니다

네가 일하는 동안, 그 프로그램을 파트 타임으로 완료하는 것입니다 따라서 작고 전문적인 목표를 달성하십시오 그리고 요구와 일정 프로그램의 우리의 주요 특징, 다시 한 번 현장에서의 그 배경과 경험 그게 핵심이야 동료들과 많은 공동 작업 이러한 네트워킹 기회를 기반으로 당신이 현장에서 일하기 시작할 때

다시 말하지만, 항상 직접 적용에 초점을 맞 춥니 다 강사가 여러분을 안내합니다 그리고 다시, 프로그램의 마지막 과정 에 기반한 관석 프로젝트를 완료하는 것입니다 나만의 프로젝트 또는 우리가 얻을 수있는 프로젝트 업계 또는 일부 멘토로부터 특정 정보로 이동하려면 코스, 각 과정은 3 학점 학점 학점 McMaster 내에서 코스는 저녁과 주말에도 예정되어 있습니다

충분한 시간을 확보하기 위해 당신이 배운 것을 적용하기 위해서, 강사가 수업 시간에 수업을 용이하게합니다 그런 다음 강의 조각처럼 보일 수 있습니다 귀하가 완료 할 때까지 완료 한 활동 주제 발표, 그런 다음 모든 수업에 실험실 세션이 있습니다 당신이 적용하고 연습 할 수 있도록 포함되어 있습니다 자료와

예산을 세워야한다고 제안합니다 일주일에 약 4-6 시간 그래서, 그것은 약간의 연습 활동을 포함 할 것입니다, 어쩌면 숙제를하고, 일부 추가 또는 더 큰 과제, 몇 가지 퀴즈를 위해 공부했습니다 그리고 그것은 당신이 좋은 견적을 얻는 것을 돕는 것입니다 시간 계획하기

그래서 수업은 항상 여기에 배달됩니다 McMaster 평생 교육 사이트에서, 다운 타운 해밀턴 일주일의 저녁 수업은 7-10 시까 지입니다 우리는 토요일, 일요일, 오전 또는 오후 각 반은 총 3 시간입니다 여기에 나와있는 6 개의 과정이 있습니다

인증서를 받으려면 6 개 과정 모두 완료해야합니다 첫 번째는 데이터 분석 및 모델링 클래스이며, 코드 DDA101은 나머지 코스 모두에 필요합니다 그리고 우리는 당신을 제공합니다 또는 어떤 과목에 대한 도움을 줄 수 있습니까? 당신은 프로그램을 진행하면서 완료 할 수 있습니다 다시 말하지만, 한 학기에 여러 과목을들을 수 있습니다

흔히 많은 학생들이 데이터 관리 과정을 통해 데이터 분석 및 모델링 그런 다음 큰 데이터 분석과 예측 모델링 및 데이터 분석 그리고 나서, 몇몇은 큰 데이터 프로그래밍을합니다 동시에 관석 큰 데이터 프로그램을 먼저 결정하십시오 관석 코스를 진행하십시오

각 코스는 약 $ 1000입니다 따라서 봄 학기에는 약 1,042 달러가됩니다 몇 가지 새로운 파트 타임 수수료에 조금 씁니다 따라서 웹 사이트도 확인하십시오 모든 일정과 최신 일정을 나열합니다

봄, 업데이트 된 일정 그리고 다른, 요금은 웹 사이트에 게시됩니다 따라서 일정 변경 사항을 찾는 것이 항상 도움이됩니다 어떤 기간에 제공되고 있는지, 다시 수수료에 포함될 내용 우리는 여분의 교과서를 구입할 것을 요구하지 않습니다 우리는 당신을 위해 모든 온라인 자원을 사용하려고 노력합니다

프로그램을 돕기 위해 다시 말하지만, 프로그램의 디자인은 각 과목을 수강하는 것입니다 서로에서 하나를 쌓고, 그러나 다시, 당신은 두 가지를 조합하여 취할 수 있습니다 또는 한 번에 하나씩 수행하십시오 귀하의 일정에 맞는 것 경험이있는 사람들이 있을지 모릅니다

데이터 분석 분야에서 일하고있다 또는 몇 가지 중요한 과거 연구를 수행했습니다 이 특정 지역 그리고 당신은 단지 하나 또는 두 개의 과정에 흥미가있을 수 있습니다 귀하의 특정 학습 요구를 채우기위한 프로그램의 따라서이 경우 프로그램에 계속 적용해야합니다 당신의 편지에 나타냅니다

한 클래스 또는 두 클래스에만 등록하고자하는 그리고 나서 우리는 당신에게 직접 연락 할 수 있습니다 당신의 최선의 선택이 무엇인지에 대해서 학업을 시작하는 신청 절차가 있습니다 큰 데이터 프로그램에서 제가 언급했듯이, 이것은 포스트 학위 디플로마 프로그램입니다

그래서 학문적 요구 사항이 있습니다 또는 대학 또는 대학에서의 경험이 필요합니다 수학과 관련있는 교과 과정이 있어야합니다 학업 및 통계와 함께, 귀하의 학업 프로그램에서 프로그램에 참여하는 대부분의 사람들, 대다수는 수학에 온다

컴퓨터 과학, 과학, 공학, 또는 사업은 종종, 그것들은 사람들이 학부 또는 대학 프로그램에서 온다 관련 전문 경험 학업 프로그램이 없을 경우, 하지만 당신은 일을 끝냈습니다 너는 일종의 뛰어 들었고 너는 그 길을 따라 배웠다 그러면 우리는 약 3 년 동안을보고있을 것입니다

현장에서의 전문적인 경험 데이터 분석 또는 관련 분야 또는 귀하의 신청서가 성숙한 학생으로 간주 될 수 있습니다 여기에 대한 우리의 청중의 일부인 의미 평생 교육 그래서, 그건 당신이 프로그램에 적용된다는 것을 의미합니다 보고 싶은 프로그램 관리자에게 문의하십시오 성숙한 학생으로 자격을 얻으려면 그래서, 그 사람은 종종 학업 학위 또는 졸업 증서, 그러나 관련 전문가 또는 다른 경험이있다

그 (것)들은 안으로 뛰어 오르고 시작할 수 있습니다 프로그램 특별한 경우라면 자유롭게 생각해주세요 우리에게 다가 가기 우리는 당신의 경험을 토대로 토론을 가질 수 있습니다 이것이 당신에게 딱 맞는 지보기 위해서

따라서 프로그램의 학습자가 성공하는 데 필요한 기본 기능을 갖추고 있어야하며, 우리 모두가 성공할 수 있기를 바랍니다 프로그램에서 프로그램에 지원하는 것이 좋습니다 당신은 몇 가지 전제 지식과 기술을 가지고있다 또는 특정 지역의 코스를 마쳤습니다

다시 말하지만, 제가 언급했듯이 수학 및 통계 지식 및 기술, 컴퓨터 프로그래밍 언어에 대한 지식, 예를 들어 자바 및 / 또는 스크립팅 언어와 같습니다 R과 Python은 우리가 가장 많이 사용하는 것들입니다 프로그램에서 그래서, 당신은 정말로 그것들을 사용하여 약간의 경험을 가져야합니다 우리가 도울 수있는 많은 무료 코스가 있습니다

일부 온라인 리소스, 하지만 내 말은, 당신은 그 사람들이 수색을하고있는 것을 발견 할 수 있습니다 일부를 프라이머로 사용할 준비가 되셨나요? 코스를 시작하기 전에 컴퓨터 프로그램에 대한 높은 숙련도 응용 프로그램, 영어 요구 사항 우리는 단지 당신에게 묻습니다 영어가 모국어가 아닌 경우, 웹 사이트와 링크를 체크 아웃 필요한 최소한의 표준에 대해서만 프로그램을 시작하십시오 그런 다음 설명 목록도 있습니다 필요한 경우 또는 귀하에게 해당되는 경우 당신의 배경과 경험에 따라

따라서이 모든 정보는 평가 될 것입니다 학업 성적에 따라, 이력서, 귀하의 서신 귀하가 귀하의 신청서에 포함 시키십시오 명확하지 않은 것이 있거나 질문이있는 경우 당신의 배경과 기술에 대해서, 우리는 당신에게 직접 연락을하고 당신에게 묻습니다 우리를 위해 몇 가지 세부 사항을 제공합니다 다시 말하지만, 목표는 항상 우리가 원하기 때문입니다

프로그램 시작 누군가, 우리는 당신이 성공하기를 바랍니다 우리는 당신이 처음부터 바로 길을 잃지 않기를 바랍니다 그래서 이것이 신청 절차가있는 이유입니다 그래서 우리는 당신을 어떤 지원이나 당신이 준비가되어 있지 않은 다른 코스들 처음부터 시작할 준비가되었습니다 하지만 그만 두지 마라

신청할 때까지 당신은 모른다 우리는 최선을 다해 당신을 도울 수 있습니다 그럼, 어떻게 시작 하시겠습니까? 그래서, 우리는 응용 프로그램을 수락하고 있습니다 봄 학기에 시작합니다 그리고 봄 학기는 5 월 초에 시작됩니다

따라서, 신청하려면 반드시 복사본을 제출해야합니다 가장 최근의 성적 증명서, 업데이트 된 이력서, 관심이있는 이유를 나타내는 편지 이 특별한 프로그램에서, 당신의 목표는 무엇일까요? 이 특별한 프로그램에서 나가고 싶은 것 신청서는 다시 검토되어 너는 그 전제 지식과 기술을 가지고있다 그리고 프로그램을 시작하는 경험 그렇지 않다면 다시 대화가 있습니다

당신이 시작할 준비를하는 데 도움이됩니다 다음을 통해 애플리케이션에 액세스 할 수 있습니다 온라인 신청 시스템 우리 웹 사이트에있는 그것은 mcmastercceca입니다 빅 데이터 프로그램의 페이지로 이동하십시오

입학 관련 세부 사항 및 신청 방법 애플리케이션 포털에 대한 링크가 있습니다 신청서를 성공적으로 제출하면 지불 영수증을 이메일로 보내드립니다 신청서를 확인하는 두 번째 이메일 McMaster 평생 교육에 의해 받았다 신청을하고받지 못한 경우 확인 이메일로 귀하의 이메일을 확인하십시오 스팸 메일 폴더 또는 스팸 폴더 그 지역에서 끝났기 때문에 그렇지 않다면 저희에게 연락하십시오

언제든지 응용 프로그램 포털에 로그인 할 수 있습니다 당신의 신청서가 있는지 체크 아웃 제출 된 것으로 표시됩니다 그래서 당신은 그것이 끝났다는 것을 알게됩니다 모든 것이 좋은 것입니다 언제나 그렇듯이, 귀하의 신청서, 우리의 이메일로 연락 주시기 바랍니다

bigdata@mcmasterca입니다 도움이 필요한 분들의 경우, 또는 가이드에 대한 간단한 미리보기, 우리는 링크가 있고 이것이 포함될 것입니다 귀하의 웨비나에서도 웹 사이트에서도 찾을 수 있습니다 작년에 만든 동영상 가이드 일뿐입니다

우리는 사람들을 도울 수있는 웹 세미나를했습니다 신청 과정을 통해 신청서를 시작한 개인에게만, 그들이 따라갈 수있는 일종의 해당 앱 프로세스를 시작합니다 또는 신청서가 진행 중입니다 그리고 그들은 돌아가서 그것을 검토하기를 원했다 몇 가지 사항을 수정하십시오

그것이 바로 그 특별한 가이드입니다 그래서, 우리 웹 사이트에서 이용 가능합니다 당신은 그것을 확인할 수 있습니다, 하지만 다시 신청서를 제출하면 제출할 수 있습니다 봄 학기에 프로그램을 시작하십시오 다시 한번 웹 사이트를 방문하십시오

bigdata@mcmasterca에서 우리에게 줄을주십시오 특별한 질문이 있으시면 다시 참석해 주셔서 감사합니다 웹 세미나가 링크로 전송됩니다 몇 개의 링크를 추가 할 수 있는지 알 수 있습니다

다른 사람들에게 그 다른 웨비나도 그게 당신에게 흥미가 있다면 그렇게 등록 할 수 있습니다 또는 당신은 우리의 웹 페이지를 방문하십시오 그래서 우리 세션에 참석해 주셔서 다시 한번 감사드립니다 귀하의 신청서를 볼 수 있기를 기대합니다 나는 너를 프로그램에서 보길 고대한다

5 월 초에 고맙습니다

Demand Prediction: Big Data and Predictive Analytics

[음악 재생] 미래를 예측할 수 있다면 어떨까요? 예를 들어, 스마트 폰 또는 가용성에 대한 수요 예측 병원 침대에서? 호텔 객실의 가용성? 정확한 수요 예측 변환 기업을위한 큰 돈 이는 산업 전반에 걸쳐 공통적 인 과제입니다

자전거 수요 예측을 선택합시다 예제 사용 사례 자전거 공유 회사는 수천 각 도시에 걸쳐 자전거와 100 대의 자전거 역이 있습니다 각 역에는 주차 용 부두가 고정되어 있으며, 언제든지 사용할 수있는 다양한 자전거를 제공합니다 실시간 대시 보드는 문제를 보여 주며, 문제를 해결하기에는 너무 늦고 비싸다

자전거를 다시 균형을 잡아서 자전거 회사 만이 역당 수요를 예측할 수 있다면 시간당 오늘의 데모에서 우리는 적용을 통해 이것이 어떻게 해결 될 수 있는지 큰 데이터 및 예측 분석 먼저, 데이터를 살펴 보겠습니다 여기에는 역사적인 자전거 사용 가능 정보가 있습니다

기상 조건과 통합 된 각 역에서 15 분 간격으로 이 데이터는 Autonomous Data Warehouse에 저장됩니다 예를 들어, SQL Developer를 인터페이스로 사용합니다 데이터에 액세스합니다 다음으로, 얼마나 쉬운 지 보여 드리겠습니다 기계 학습 모델을 만드는 것입니다

작성없이 Oracle Analytic Cloud를 사용하여 한 줄의 코드 가장 먼저해야 할 일은 Oracle Analytic 클라우드의 인스턴스를 Autonomous Data Warehouse에 추가 예를 들어 모든 데이터 업로드 우리가 보유한 파일을 오라클 분석 클라우드 예 데이터가 업로드되면 기계 학습을 생성 할 수 있습니다 모델을 만듭니다 먼저, 우리가 원하는 데이터를 선택해야합니다

우리 모델을 훈련하는 데 사용합니다 그런 다음 열의 하위 집합을 선택해야합니다 실제로 사용하려는 데이터 테이블 내에서 우리 모델을 훈련하기 위해서 여기서 우리는 테이블의 모든 열을 사용하고자합니다 그래서 우리는 모든 컬럼을 선택합니다

다음 단계는 기계 학습 알고리즘의 클래스를 선택하는 것입니다 우리가 우리의 특정한 문제를 해결하기 위해 사용하기를 원하는 것입니다 이 경우, 우리는 수치 예측 모델을 훈련시키고 자합니다 그래서 우리는 그 클래스 내에서 알고리즘을 선택해야합니다 보시다시피 네 가지 기계 학습 기능이 있습니다

Oracle Analytic Cloud에 내장 된 알고리즘 이제 선형 회귀 모형을 사용해 봅시다 우리가 순서대로 지정할 필요가있는 유일한 변수 완전한 선형 회귀 모델을 가짐 모델이 예측하기를 원하는 대상 열입니다 이 경우 사용 가능한 자전거 수를 예측하려고합니다 매 시간마다 각 역에서

그래서 우리는 사용할 수있는 자전거를 선택해야합니다 테이블의 열 보시다시피, 모든 다른 변수들 기본적으로 또는 시스템 내에서 설정되며, 우리는 그것들을 변경할 필요가 없습니다 우리는 기계 학습 모델과 데이터를 저장하기 만하면됩니다 그것을 실행할 수 있기 위해서 흐름

모델이 저장되면 데이터 흐름을 실행할 수 있습니다 당신이 제공 한 데이터 세트에 그것을 훈련시키기 위해서 우리는 4 가지 기계 학습 모델을 만들 수 있습니다 각각의 기존 알고리즘을 사용하여 모든 모델을 만들고 교육 한 후에, r 개의 정사각형 메트릭을 기반으로 이들을 비교할 수 있습니다 어떤 모델이 우리의 문제에 가장 잘 맞는지 찾아야합니다

여기서 볼 수 있듯이 선형 회귀 모델 우리의 문제를 가장 잘 해결하고 우리에게 준다 우리가 시도하는 네 가지 알고리즘 중 최고의 정밀도 좋아요, 잘 됐네요 하지만이 모델을보다 정확하게 만들고 싶다고합시다 내 구체적인 문제에 맞게 조정하고 싶습니다

오히려 전체 데이터에 대해이를 교육하려고합니다 데이터의 일부분보다 이를 위해 Oracle Machine Learning을 사용할 것입니다 도구 또는 OMO를 짧게 빌드하고 빌드하십시오 PL SQL을 작성하여 동일한 선형 회귀 모델 암호 Oracle Machine Learning 도구는 Autonomous 내의 도구입니다

데이터에 액세스하고 적용 할 수있는 데이터웨어 하우스 데이터베이스 내에서 기계 학습 모델 우리는이 모든 결과를 동일한 Autonomous Data 웨어 하우스 인스턴스를 생성하고 Oracle Analytic 이러한 데이터를 시각화하기위한 클라우드 이 결과를 살펴 보겠습니다 첫 번째 그래프 내가 보여준 것은 우리 모델을 검증 한 결과입니다 및 데이터의 유효성 검사 부분

여기에서 파란색 막대는 실제 숫자를 나타냅니다 이 특정 위치에서 매 시간마다 사용할 수있는 자전거 중 초록색 선은 사용 가능한 자전거 수를 나타냅니다 동일한 역에서 같은 시간에 우리 모델에 의해 예측된다 여기서 볼 수 있듯이 초록색 선은 파란 막대의 추세를 따른다 우리 모델이 예측할 수 있음을 의미합니다

사용 가능한 자전거의 수는 매우 정확합니다 그래서 우리는 우리 모델의 예측을 신뢰할 수 있습니다 예측 된 숫자를 보자 같은 역에서 사용할 수있는 자전거들 미래의 날짜에 매 시간마다 이 그래프에서 각 막대는 사용 가능한 자전거 수를 나타냅니다

미래의 날짜에 대한 우리의 모델에 의해 예측 같은 역에서 매 시간마다 여기에서 볼 수 있듯이 오전 10 시부 터 11 시경, 이 특정 역에는 자전거가 부족합니다 이 정보는 기획팀을 도울 수 있습니다 미리 균형 조정을 계획하다 이러한 상황을 방지하기 위해 실시간 기계 학습을 적용하여 데이터에서 통찰력 유도 반복적 인 과정입니다

OAC에 내장 된 ML 기능으로 코드를 작성하지 않고 모델을 반복합니다 이 도구는 코드를 작성합니다 자기 주도, 초고속, 고 가용성으로이 작업 수행 컴퓨터 학습 기능이 내장 된 클라우드의 데이터베이스 전체 프로세스를 최적화합니다 수년이 걸릴 수있는 이와 같은 프로젝트는 일주일이나 한 달 안에 끝날 수 있습니다 ML 활용을 통한 구축, 훈련 및 운영 알고리즘은 전체 데이터에서 병렬로 실행됩니다

시간 낭비없이 데이터를 추출 할 수 있습니다 더 큰 데이터 세트로 인해 더 나은 정밀도, 마지막으로, 연속적이고 능동적 인 과정 새로운 데이터 스트림으로 모델을 구체화합니다 이 비디오를 시청 해 주셔서 감사합니다 클라우드 서비스를 사용해 볼 수 있습니다 링크를 사용하여 무료로

[음악 재생]

Industrial Big Data Analytics Using Splunk

안녕하세요 여러분, 저는 Kudzai이고 오늘 저는 여러분에게 아주 잘 보여줄 것입니다 흥미로운 개념으로, 산업용 데이터를 Splunk에서 사용할 수 있도록하는 방법입니다

이제 Splunk는 매우 강력한 Big Data 플랫폼으로 추출 할 수 있습니다 구조화되지 않은 산업 데이터에 대한 통찰력 그래서 저는 여기 Groov Epic 컨트롤러와 온도 센서를 가지고 있습니다 연결되어 있습니다 나는이 센서 데이터를 노드 레드를 사용하여 Splunk로 전송할 것입니다

Groov Epic 컨트롤러에서도 실행됩니다 기본적으로 Splunk는 큰 데이터를 수집하고 색인을 생성 할 수있는 소프트웨어 플랫폼 마치 웹을 검색하는 것처럼 데이터를 검색 할 수 있습니다 그래서 이것이 패턴을 식별하는 매우 유연한 방법이라고 상상할 수 있습니다 추세 분석 따라서 Splunk는 전제 조건으로 로컬에 설치할 수 있습니다

선택적으로 클라우드 호스팅 버전을 사용할 수 있습니다 물론 요구 사항 이 데모에서 우리가 할 일은 다음과 같습니다 프로그래머블 컨트롤러의 데이터를 Splunk 인스턴스로 보내십시오 내 컴퓨터에서 실행 중입니다

자, 어떻게 실제로 Splunk에 데이터를 가져 옵니까? 많이있다 방법은 있지만, 우리의 경우에는 Splunk의 HTTP Event Collector 그렇지 않으면 HEC로 알려져 있습니다 그래서, HEC는 우리 컨트롤러를 통해 데이터를 내 PC의 HTTP를 Splunk 인스턴스로 직접 가져옴 HEC는 여러 가지 방법으로 구현 될 수 있습니다 SDK를 비롯한 여러 가지 방법이 있지만 노드 – 레드와 같은 강력한 도구가 처분, 우리는 그것을 활용하여 HEC를위한 플랫폼으로 사용하려고합니다 컨트롤러 데이터를 수집하여 Splunk에 수집합니다

하지만 우선, 열어 보겠습니다 우리의 Splunk를 설정하고 HTTP 요청을 받도록 구성하십시오 당신 이제 저는 현재 컨트롤러에서 실행중인 노드 빨간색 편집기를 사용하고 있습니다 여기에 온도 센서 데이터를 읽는 노드 적색 흐름이 있고 HTTP POST 요청을 통해 Splunk로 전송합니다 여기 내 메시지는 기본적으로 온도 값과 ID를 포함하는 JSON 페이로드 장치

그런 다음 여기에 데이터를 지정하는 메시지에 헤더를 추가합니다 내가 보내는 인증 유형과 복사 한 인증 토큰을 제공하십시오 이전에 Splunk 구성에서 그리고이 노드에서 여기 있습니다 본질적으로 Splunk API에 HTTP POST 요청을 보내는 것이므로이 흐름을 배포하면

메시지가 성공적으로 전송됩니다 이제 Splunk로 돌아갑니다 내가 언급 한 바와 같이 이전에 Splunk의 핵심은 그러한 프로세싱 언어라는 것입니다

검색 인터페이스로 이동하십시오 자, 이제 우리는 실제로 온도를 볼 수 있습니다 데이터가 이벤트로 제공됩니다 기본 검색은 다음과 같이 보입니다 따라서이 검색 쿼리는 HTTP 이벤트 수집기의 이벤트를 반환합니다

우리는 이것을 'controllerdatastream'이라고 불렀다 데이터를 필터링 할 수 있습니다 이 시간 선택기는 여기에서 사용하십시오 그런 다음 검색 바에 필터를 추가하여 온도가 17도 미만인 이벤트 5도 섭씨 그런 다음 데이터에서 타임 차트를 만들 수도 있습니다

가능한 한 또한 인터페이스가 자동 제안을 가지고 참조하십시오, 정말 멋지 네요 그리고 우리 또한 키워드에 대해 텍스트를 강조 표시합니다 그리고 나서 나는 시각화 할 수 있습니다 데이터 그래서, 분명히 여기에 계속할만한 많은 데이터가 없지만 요점은 당신입니다

데이터가 없으므로 Splunk을 사용하여 모든 종류의 데이터를 검색 할 수 있습니다 구조가 있어야합니다 구조는 실제로 검색 할 때 생성됩니다 데이터를 통해 대시 보드, 경고 및 보고서를 만들 수 있습니다

그리고 너 또한 예측을 위해 Machine Learning Toolkit과 같은 앱을 추가 할 수 있습니다 유지 좋아요 그러면이 동영상의 끝까지 안내 할 수 있습니다 그럼 네가 가진다면 이 비디오에 대한 어떤 생각이라도 코멘트에 대해 듣고 싶습니다

섹션을 참조하십시오 이 동영상이 유용하다고 생각되면 동영상을 공유하십시오 사이

Microsoft Power BI Premium: Building enterprise-grade BI models for big data – BRK3107

>>> 안녕, 누구나 좋은 아침

이거 기분 고맙다 아침 나는 기독교이고, 프로그램이다 매니저 엔터 프라이즈 기능을 살펴 봅니다

POWER BI, AZURE SERVICES, 특정 종류의 FOCUSING OF KIND OF BI PRO 개발자 기능 확장 성 및 관리 성 그리고 프로그래밍 및 애플리케이션 라이프 사이클 이 유형의 관리 및 소지품 그래서 우리는 많이 일어나지 않았다 지금 당장이 공간에서 앞으로 찾고 있었어 이 세션은 내가 이기기를 원하기 때문에 너는 알았어 너보고 싶어

이 기능을 사용하는 방법 내가 가지고있는 많은 희생자들 최근에 기본적으로 완료했습니다 바이올렛이 나왔어 일부 주변의 HYPE가 많이 없습니다 특징은 있지만 너무 많은 사람은 아닙니다

실제로 설정하는 방법을 보았습니다 위로, 오른쪽 내 일차 목적 이니? 교육 오늘 – 교육 당신은 그것을 설정하는 방법을 안내합니다 나는 가지 않을 것이다 – 나는 얻을 수있다 조금씩 움직이기는하지만 위험하지는 않습니다

내가 아는 한 많이 왔어 이 중 일부에 대한 주해 풍모 나의 일차적 인 목적은 교육이다 당신들 알았어, 너는 그걸 깨달을거야

– 그 방법은 마이크로 소프트 우리 제품의 위치를 ​​잡았습니다 쪽으로 최근에 우리가 가진 것 같아요 기업을위한 좋은 서비스 BI 우리의 서비스는 20 년 오래되었습니다 올해

우리는 매직의 지도자였습니다 20 년 동안의 사분 그 큰 요인이되었습니다 그리고, 당신도 알다시피, 그것은 정말 잘 짜여진 플랫폼 기업용 BI 기업가 정신과 관련하여 무엇을 의미합니까? 소유하고있는 BI가되고 IT가 관리합니다 권리

프로그래밍 가능하고 스크립트 작성 가능 , FOR 신청 라이프 스타일 관리 힘 BI를위한 목적 사용성을 촉진하기 위해 엔터 프라이즈에서 SEMANTIC 모델 조직 거대한 조직이있는 경우 단일 반 모델의 재사용 더 크고 복잡한 확장 성 요구 사항, 관리 요구 사항 더 위대 할 것이다 그가 어떻게 위치를 잡았는지, 전력 BI는 – 정확합니다 새어 나는 20 년 오래되고 오래되었다고 말합니다

많이 말하는 군 하지만 힘 BI는 정말 빠릅니다 진정한 지도자가 되십시오 SUBSERVICE OR MODERN BUSINESS 지능 공간, 그리고 당신 아시다시피, 당신이 보았다면 최신 매직 쿼드런트, POWER BI 우리의 큰 요인이되었습니다 마지막 순간을위한 위치 – 너도 알다시피, 지난 3 년 이상

괜찮아 그래서 – 우리는 종류가 있습니다 분리 된 기업 BI 및 자체 서비스 BI 우리가 보았던 것은 그것이 아니라는 것입니다 그만큼 분명합니다

BI의 방식의 다음 종류는 IF입니다 정말 비즈니스와 IT 함께 일하고 우리는 A를 보았습니다 많은 고객이있다 둘 사이의 틈을 연결하십시오 제작품

그래서 IT는 많은 감각을 갖습니다 서비스 기능을 가져오고 그들에게 하나씩, ALL-INCLUSIVE PLATFORM BEING POWER BI 및 POWER BI PREMIUM 너에게 줄 것이다 기업용 워크로드 및 셀프 서비스 워크로드 A 단일 플랫폼 기본 서비스와 기본 서비스 힘 BI를위한 통합 생태계

그것이 바로 그 비전입니다 우리는 가고있다 그리고 우리는 만들고있다 그 안에 아주 중요한 스트립 지시 – 우리는 실제로 가지고있다 실질적이고 진지하게 그 안에 중요한 스트라이드 다음 여섯 개 방향 MONTHS 괜찮아 ? 그래서이 지점에,이 곳은 나는 보통이다

해야 할 것 데모 나는 시간을 가지고 15 분, 하지만 이미 바이러스가 생겼습니다 그것을 본 사람은 누구나 알았을 것입니다 내가 설정하는 방법에 집중하면서 위로 – 당신이 알고있는, – THE 큰 데이터를위한 BI 당신

아주 많이 고마워요 그리고 지금 나는 묻는다 REVERSE QUESTION 누가 보지 않았습니까? 너는이 질문들을 생각 해왔다 간접적으로 배타적이어야합니다

너는 해칠거야 WHO NOT WHOIS 데모를 보았습니까? 와우 나는 여기에 토네를 짓고있다 괜찮아 그래서 – 실제로 거기에있다

FAIRLY 중요 번호 켜기 양쪽 모두 그래서 내가해야할 일 통과하지 마라 전체 데모 및 교육의 상당 부분을 사용하십시오 너 완전 해

TRILLUM ROSE DEMO 이 링크를 보러 갈 수 있습니다 그것의 기록 그러나 나는 너에게 빠른 것을 줄 것이다 그것의 버전, 그 때 우리는 할 수있다 방법 설정에 들어가기 – 어떻게 이 유형의 설정 데이타베이스는 크라우드 소스를위한 데이터입니다

쿠리어 서비스 및 드라이버 그 발사하는 스마트 폰 앱을 가져라 각자의 위치 드라이버 표 A 개별적인 위치 IS 위치 측정 값입니다 내가 여기에 있으면 행

알다시피, 모든 것이 보입니다 이 문제에 대한 대처 캔버스 얼마나 행합니다 내가 그것을 수령 한 것은 TRILLION ROWS DEMO를 사용하고 IT에 넣기 문맥 AZURE SERVICES S 9 SKU, 24 원인

십억 이 법은 물리학은 줄을 잇습니다 PET 데이터 및 SIS의 법칙을 규정합니다 이 부분은 육체적입니다 불가능하고, 그러나 LO와 BEHOLD WE 이 일을하고있다

휴식 시간 여행을 떠나십시오 매우 빠르고 인터랙티브 – 상호 작용 그리고 나는 바를 만들려고하고있다 채트, 절벽에서 깨어 라 작업 별, 필터 별 시스템을 떠난 운전자 – 죄송합니다, 회사를 떠났으 니 즉시 응답 시간 PETABYTE DATA QUARTER

우리가 할 일은 우리가하는 일이다 너 우리가 알기 론, 파워 빌 AND AZURE 인터랙티브 서비스, 우리가이 번개를 받았다 빠른 성능은 우리가 캐시합니다 데이터를 메모리에 저장하십시오 우리는 데이터와 캐시를 압축합니다

IT INTO MEMORY 생성 된 QUELIES 인터랙티브 한 비주얼 보고, 답변이 반납 됨 알았어, 빨리 우리의 압축베이스에도 불구하고, PETABLET의 한 부분은 많이 있습니다 DATA of 우리는 A의 데이터를 캐치하고 있습니다

포함 된 총계 수준 기억의 작은 조각 그리고 그 길에서 잠글 수 있습니다 전에는 물리적으로 불가능했습니다 다음 질문은 무엇일까요? 사용자가 세부 수준은 없다 은닉처 그 뒤에는 무엇이 있습니까? 음, 그들은 실행하지 않아도 돼

다른 보고서 무슨 일이 일어나는가, 이것은 A를 제출한다 직접적인 질문자 토요타 출처 출처가이 경우에 전원을위한 모든 데이터 소스 데이타베이스에서 데이타베이스에 관한 BI 및 SQL 데이터 방식 하우스 및 A TON OF OTHERS

지금까지 제출되지 않았다 그 자리에 단 하나의 질문 23 노드 클러스터에서 실행 중 배경 내가 A와 똑같은 일을했다면 SDI SPOT 클러스터에 쿼리하십시오 나는 그것을 실행하지 않을 것이다

시간의 관심사, 그러나 나는 의지 할 것이다 너는 알고있다, VAST 사업의 주요 부분 인텔리전스 QUERYINTELLIGENCE QUE RIES가 있습니다 어떤 형태로 통합되었습니다 너는 높은 캐시 히트를 얻을 것이다 RATIOS 90, 9 그리고 너는 TINY SECT를 사용하여 USEUNLOCK 잠금 해제 이온 메모리 할당

D 전원 BI가 90도를 유인합니다 검색어 및 일부 95 개 LEVELAGGREGATION 및 이를 통해 얻은 질문 근원 그 중 하나도 적지 만, 권리 당신은 당신을 보호 할 것입니다

SQL 데이터의 동시 계량 제한 창고와 그 문구들 이를 통해 얻을 것이다 융통성있게 설계 할 수 있습니다 그것을 통해 얻을 수있는 시스템 SOURCE SYSTEM에 더 많은 것이 있습니다 통제 된, 목표 된, 비협조적인 형태의 질문 소스 시스템과의 거래 잘 했어 너는이 밸런싱에 들어간다

자원을 사용하는 건축술 효율적이고 정확한 쿼트 POWER BI WHAT IT 사용 방법 집계 된 좋은 것 QUERIES TRILLION ROWS DEMI의 TOP 이걸 어떻게 설정했는지 보여 줘요 이야기하기 시작하기 그것 슬라이드에 여기에 명시된 바와 같이 그래서 뭐지? THE AZURE 그 (것)들까지 힘 BI 일은 작동한다 7 월의 데스크톱 릴리스는 당신입니다 특별하게 선택하겠습니다

가져 오기 또는 직접적인 데이터 세트 질문 괜찮아 그것은 두 가지의 결정을 내 렸습니다 당신이 수입을 선택한다면, 모두 가져온 테이블 그리고 당신이 직접 선택한다면 문의 사항, 모든 테이블에 있었어 직접적인 질문입니다

대부분의 모델 – 또는 데이터 세트 더 빨리 가져 왔어 공연 당신이 얻은 큰 데이터 세트 도전의 비트 트리니움 행은 필요 없어요 그 (것)들을 위해 몇몇 종류가 있기 위하여 – 작은 비트가되기 위해서는 비용이 많이 든다

관리 할거야, 그렇지? 너는 그 날을 거듭 추려 야해 메모리에 가끔은 가질 수 없을 수도 있습니다 충분한 메모리 또는 실행할 수 있습니다 메모리에, 당신이 원하는 효율적인 평균 사용 기억

귀하의 THRESHOLD IS NOT 필수적으로 TRILLION ROWS 현재 힘 BI 프리미엄, 가장 큰 – THE CAP ON THE DATASET 사이드는 10 기가 바이트입니다 우리는 우리가 진술했다 그 한계로 일하기 주요 단계 중 하나 선거권의 우선 순위 설정 지원 서비스 분석 서비스 더 큰 모델 우리는 저 리프팅을 계획하고 있습니다

10 기가 바이트 제한 및 더 가까이 AZURE 서비스 모델 크기 우리가 원하는대로 메모리 사용법 만족스럽지 않을 수도 있습니다 거기에는 많은 시간이 있습니다 노력과 돈 및 관리 그것을 대체하기위한 순간 데이타베이스는 캐시에, 오른쪽

그래서 더 큰 데이터가 더 많은 도전 과제로 새로운 메모리 캐시 생성 그래서 어떤 복합 모형이 허용할까요? US TO 너가 충분한 기억을 가지지 않았다면 도전 과제가 너무나 많습니다 직접 질의를하는 스위치 그 때 당신은 천천히 있기를 바랐다 특별한 성능 그것이 있기 때문에 큰 모델 제출 됨 – 직접 물음표 르에는 연계 된 질문이 있습니다

모든 사람을위한 자료 제공 사용자와의 상호 작용 보고서에 나와 있습니다 그렇다면 당신은 어떤 사람이 있습니까? 데이터에 대한 성능 문제 전형적으로 질의 7 개월 후에 우리는 지금 – 너는 지금 테이블을 집을 수있어 테이블을 가져야 할 레벨 직접적인 쿼리 또는 가져 오기를 수행하십시오 괜찮아

이 개방은 많은 시나리오를 열어줍니다 둘 모두의 최고를 제공합니다 전통적으로 당신과 같은 세상 하나를 선택해야합니다 기타 및 전체 직접적인 수입품 및 선택 표 수준 은닉처 이 혼자가없는 회분은 매우 유용합니다

특색 예를 들어, 그냥 피킹 할 수 있습니다 가까이에있는 특정 테이블 실업 수당 요건 직접적인 질문이 있으니 가지 마세요 캐시에 그리고 라틴계는 줄이거 나 다른 모든 것 공식 외형 치수 표 보고서를위한 보고서, 시간 단축 매우 빠르다 그러면 너는 가질 것이다

책임감있는 최상의 경험 그래서 이것은의 구성 요소입니다 모듈 기능 우리는 세부 사항으로 갈 것입니다 세포 수는 10 억 개에 이른다

행 우리는의 모임을 만들 수 있습니다 세포 다른 표 셀 셀 AG 그리고 훨씬 적은 비용이 들게 될 것입니다

셀 수는 NUMBER입니다 셀에 10 억, 셀이있는 경우 AG의 데이터 및 지리 정보 ID 수 많은 사람들 당신은 실제로 A를 원할 수도 있습니다 낮은 레벨의 집계 표 그거야 너는 전형적으로 가지지 않을 것이다

집계 테이블의 번들 너는 그 종류가 있다면 당신은 단결시킬 것입니다 하나의 낮은 수준의 회합으로 표 이 특별한 경우에, 이 집계 테이블은 수천의 지리적 위치 똑똑한 신분증 데이터 시트에서 MEGA 데이터 제공 그 엔진을 수행하려면 그 안에 들어있는 질문들 사용자 셀 수의 합계를 요구하십시오 셀스에 대해 아는 것이 없습니다

QUERIES는 세포와 내부 질의 응답 및 수집, 오,이 질문이 AT에 있어야합니다 올바른 분뇨 YEAR AND CITY 그것들은 둘 다 속성에 있습니다 이 테이블은 관련이있다 영업점에서 바로 가기 표

내부 리디렉션 판매 AG 테이블과 히트 메모리 캐시 및 온다 BACK SUPER FAST 꽤 직설적 인 데이터 비트가있는 경우 모델링 배경 천천히 똑바로 본다 당신에게 걸레질은 끝났어 여러 차원에서

네가 몇 군 다차원 회합 이것과 비교 된 백업 이 모든 모임 중개 포인트 및 그림 당신이 이끄는 사람은 누구입니까? 총체적 또는 전체적으로 간단한 모델링 배경 우리가 다른 질문을 제출하면 이 하나는 세포의 합계입니다

완벽하게 이해할 수있는 사용자 판매에 대해 아는 것이 없습니다 AG 영업 활동은 그로부터 벗어났다 고객 이름과 엔진 고객 이름을 알려주십시오

나는 회피 할 수 없다 그 때문에 테이블 특정 판매점 AG는 그곳에 기록합니다 하나의 지형이지만 여러 고객 및 그렇지 않을 것 고객이 아는대로 너무 좋았어 집합 나는 FLY에 착수 할거야

내부적으로, 완전하게 사용자 및 직접적인 질문을 제출하십시오 출처 괜찮아 그냥 날아라 만약 내가 – 줄리엣 행 데모에서 나는 세부 수준 아래로 움직이다

보게 될거야 QUESTIONER TOW HDI SPARK 그 중 하나가 바로 그 것이다 그게 여기에있다 화이트는 여기에 표시되어 있습니다

직접적인 질문 – 멍청 아 우리가 왔을 때 그것은 푸른 색이었다 메모리 캐시에서 충돌하기 권리 그래서 날짜 표가 돌아 왔습니다

직접적인 질문 사이 가져 오기 이것은 중요합니다 – AN 너가 인 경우에 중요한 개념 치수 모델링 사용하기 집합 날짜가 훨씬 더 효율적입니다 이 보석의 역할, 오른쪽, 직접적으로 사용할 수있는 곳 질의 및 수입 제출하고자하는 경우 이 과정을 거쳐 내려갑니다

날짜가 없다면 – 생각하면 그것의 개념적으로 모든 10 끌어 오기 십자가는 행진을 시작하고 조인을 시작합니다 오늘 힘을 합쳐서 힘을 합치십시오 실천에서 그것은 약간의 비트입니다 그보다 더 효율적입니다 우리는 그것에 대해 이야기 할 것입니다

분이지만 갈 수는 없다 조인 또는 작업을 푸시하려면 날짜가 맞지 않으면 출처로 QUERY 별 말이 돼? K와 FORTH 데이터 조회와 가져 오기 사이 전체 셀 또한 밀어 넣음 근원을위한 운영에 의하여 저것 오늘과 영업 AG 1 캐시에서 메모리를 가져옵니다 느낌을내는거야? 실제로 3 개의 저장소가 있습니다

우리가 소개 한 모드 복합 모델 우리는 직접 가져 오기를 가져 왔습니다 그리고 세 번째로 하나의 청동 보석 쥬얼은 바로 이걸 의미합니다 너는 뒤에 입을 수있다

간접적 인 쿼리와 성능에서 중요하다 점 권리? 괜찮아 그래서 우리는 다시 올 것이다 그리고 조금씩 더 깊게 지내라

더 깊고 더 깊숙한 곳 나는 무엇부터 시작 할까? 이 제품은 데스크탑 용으로 적합합니다 치수 모델 치수 모델 조각 및 우리는 질문을하면 어떻게 표시할까요? 큰 데이터 모델로 작업하십시오 당신의 정의에 따라 빅 데이터

SQL 데이터웨어 하우스 및 엄청난 액수의 매우 평행 한 데이터 체계 그래서 보자 나는 넘어서 넘어갈 것이다 이 데스크탑 파일 그래서 여기 모델 생각입니다

이것은 새로운 사람 다이어그램보기 내가 볼 수있는 곳 이 테이블들과 우리가 얘기 할 것입니다 이 작은 비트에 대해 더 알아보기 후에 현재 볼 수 있듯이 모든 것이 직접적인 질문입니다 권리 그건 단지 작동하지만 이미지는 그렇다

판매액이 10 억 라인을 갖는 경우 그리고 캐시에 비쌉니다 대신 우리가 할 수있는 일은 창조적 인 것입니다 이 판매 AG 테이블, 모든 권리 그리고 세포의 골격 너는 그것의 합계라고 생각한다

제품 ID 및 SUBCATEGORY ID 많은 사람들이 거기에 적지 않습니다 교차 결합이 될 것입니다 판매량과 비교합니다 괜찮아

그리고 판매 AG 테이블입니다 숨겨진 숨겨진 이 모든 집계 테이블 숨어 있어야합니다 다시,이 모든 개념은 소비자로부터 방해가되었습니다 현재는 집계 중입니다

PUBLIC PREVIEW 우리는 주간 커플을 런칭했습니다 PUBLIC PREVIEW에 게시 됨 언론의 열기가 뜨겁다 조만간 IT 부서에서 지원 될 예정입니다

매우 빠른 BI 서비스 나는 어떤 일도하지 않을 것이다 엄숙한 날들과 나는 내게 배운다 그 지역의 실수 조만간 IT 부서에서 지원 될 예정입니다

전력 BI 서비스 그 지점에서 IT가 계속 될 것입니다 한 번 마지막까지 공개 미리보기 우리가 원하는 기능 일할 총회 행 수준 보안 있음 버전, 당신은 행할 수 없다 수준 보안 및 모임 동일한 데이터 세트에서

분명히 우리는 활발히 활동 중이다 그와 호기심을 가지고 일하기 조만간 지원 될 것입니다 그 시점에서, 한 번 총회 로우 레벨 보안 기능, 그것은 거의 확실하다 그럴 경우 데이터베이스, 집계 테이블 주소 지정은 불가능합니다 무엇을 의미합니까? 이를 통해 설정된 데이터에 액세스하는 경우 서비스의 행 – 내가있는 경우 청력 모달은 광고입니다

배경의 서비스, 나 DA X를 실행할 수 있어야합니다 집계에 대한 질의 나 자신 때문에 테이블 관리자 이 데이터베이스를 게시하는 경우 힘 BI 서비스 및 간행물 친척과의 관계를 통해 보안 또는 그렇지 않으면 테이블 사용할 수 없게됩니다 IT와 같은 DAX QUERY 실행 OBJECT LEVEL이 존재하지 않습니다 보안이 효과적입니다

분화 촉구 표 나 자신의 짧은 버전 언제나하고 있다고 소리 쳐 통일 테이블 숨김 그 상태로 유지하십시오 집계 테이블은 숨겨져 있습니다 그리고 다른 것을 지적해라

표 그냥 다른 표 모델, 왜 그럴까요? 다른 점은 다르다 다차원 우리가 왜 다른 사람과 만났을 까? 표? 이유는 단지 다른 것입니다 표

여러 가지 이유 이것은 외부와 함께 작동합니다 설계된 협의 나는이 집계를 나타낼 것이다 데이터웨어 하우스의 테이블 ETA 프로세스 및 사용 사용 증가하는로드 프로세스 내 데이터웨어 하우스의 세부 정보 분리 된 상태로 유지하십시오

표 직접 QUERY로 놓고 현재 매장을 사용하여 IT를 최적화하십시오 데이터 창고와 함께 모든 싱글과의 혼자 TABLE BEING DIRECT QUERY, 회람은 그것을 위해 사용할 수있게 만든다 가져 오기가있는 대형 모델 그 사람이 게임 체인지 선수와 함께

다른 테이블의 사실상 허용 그것은 외부와 함께 작동합니다 유지 된 회랑 집계 테이블이 있어야합니다 내 데이터웨어 하우스 준비된 테이블이 있어야합니다

스파크 또는 그 성능 비행 부분의 골목 OF THE 이 테이블 뒤에 쿼리 많은 건축 옵션 그곳에 우리가 아는 한 아키텍처 질문은 절대로 없습니다 하나의 모든 답변을했습니다

많은 건축술을 제공합니다 옵션 이 JUST에 대한 또 다른 포인트 다른 테이블 및 따라서, 증가하는 리프레쉬를 사용할 수 있습니다 이에 증가하는 재생은 기능입니다

그 – 증분 기능 만 테이블 경우 작동합니다 점차적으로 새로워 질 수 있습니다 은닉처 현재 직접적인 쿼리 및 그것이 나에게 그것을 할 수 없다는 것을 말하면서 엄청나게 큰 요점 집계조차도 데이터 세트 탁월한 크기의 테이블 그리고 그것이 될 지점에 증감 재판

당신이 십분이라면 – 년 데이터 세트, 귀하의 공식 적재는 모두를 불러올 것입니다 10 년 후 시간은 그러나 그후에 보풀 변화 한 그날을 불러들입니다 잃어버린 5 일 동안의 예를 들어 데이터입니다 증가하는 재생은 그것을 만든다 큰 돈을 더 많이 싣기에 더 효율적 데이터는 메모리에 저장됩니다 인상적으로 새로 워진 집합 잘 테이블

왜? 다른 테이블과 왜 우리가 이 같은 디자인 이건 집계 테이블입니다 나는 수입을 위해 그것을 원한다 나는 설정하지 않았다 나는 설정하지 않았다

UP THING A 그레이 빙 표 초창기부터 시작하기 청결 슬레이트 이것은 복합체를 사용하는 것입니다 미국을 좋아하는 모델 기능 저장 모드 저장 나는 그것을 수입하고 싶다

처음으로 온 것, 오하이오 몇 가지 메시지는 여기와 테이블이 필요할 것입니다 보석 그리고이 책상은 의무 데스크탑의 주요 기능 이것은 고도로 조언할만한 것입니다 고객 상태 및 제품 카테고리 그리고 그걸로 관계와 그 계획 그 테이블은 무엇입니까? 예정대로 혜택을 얻으십시오 가져 오기와 동시에 유품을 그렇다면 우리가 직접적인 질문 – 그럼 어떻게 되나요? 우리는 직접 질의 할 수있다 우리가 있다면 직접 질문하기 가져온 데이터 제공 및 훨씬 더 효율적이다

해결책 당신이 가진다면 정말 도움이 될 것입니다 이 대용량 데이터 세트 AZURE와 잘 어울리지 않습니다 50, 150 개의 테이블이있는 서비스

100 개의 탭이있는 경우 1 개가있는 경우 그 르 모델 직접 간다 당신의 데이터로부터의 질문 창고와 캐시 테이블 데스크탑이 최소 크기 설정해야 할 사항 보석 무언가를 절약하십시오 이것들은 그 테이블입니다

보석에 맞추기를 원합니다 ONES 그래서 내가해야할 일은 – 이 새로운 다이어그램보기는 나를 허용합니다 세트의 속성을 설정하려면 하나의 공통 속성 이 두 가지만으로 시작하십시오

이 보석으로 세트해라 그리고 그것은 새로워 질 것입니다 거기에있는 데이터, 그리고 그들은 그대로 – 직접 검색어 또는 수입 지금 우리가 돌아올거야 여기에 설정하고 수입 다시 생각해 냈어

이것들은 설정 될 필요가 없다 보석 이 세 가지 그리고 저기로 가세요 잠재적 인 보안 위험이 우리에게 미칠 것입니다 나중에 얘기 해봐

전적으로 개인 정보 보호 관련 수준 및 검색어 전원 쿼리 지금 우리는 저장 모드를 설정합니다 권리 이 지점의 수입 표 내가 수정하면 새로 고침이 시작됩니다 원했다

그리고 내가해야할 일 바로 가기 총회 대화 이것이 내가 셋업 한 곳이다 통합 맵핑 이 모든 것이 내가 말하는 곳입니다 QUELIES GET을 얻는 엔진 영업점 AG로 리디렉션 됨

당신이 볼 수 있듯이, 열 여기 판매 AG에서 포함 된 테이블 외래 키 나는 떠나기 시작할 것이다 혼자 외계인의 열쇠 이 모델들은 필수적이지 않다 당신이 외래 키

우리는 그걸로 돌아갈거야 조금 늦었다 내가 뭘 봤는지에 대한 예외 그리고 우리는 그걸 다시 할 것입니다 나는 홀로 남을 것이다 자동 날짜 키를 말하지 않기 열쇠에 의해 그룹화된다

셀 또는 날짜 키 나는 그 일을 바로하지 않을 것이다 지금 그래서 나는 그것을 단지 제거 할 것입니다 나는 아래로 곧장 갈 것이다

실제 총체적 가치 괜찮아 우리는 CELL 금액을 얻었습니다 약간 집합

우리는이 계산해 봤어 데이터 유형에 대한 위반 및 다양한 기타 검증 AM에 대해 이야기하지 않을 것입니다 지금 테이블 행 합계입니다 똑바로는 안된다

1 대 1의 관계 DAT 기능 우리는 그걸 꼭 보게 될거야 분 SAYS의 판매액 합계 이 판매액은 판매 AG 테이블은 준비되었습니다 그것에는 판매의 합계가 있고 판매 표의 금액 이 세 가지 기본 정보에 의해 그룹화 됨 열쇠 권리

그래서 우리는 앞으로 나아갈 것입니다 매상 매상 양 괜찮아? 매우 직설적 인 직급 스트레이트 TFORWARD 단위 가격 합계

이것은 다른 미터법입니다 세포 세부 테이블 괜찮아 우리는이 사실을 말할 것입니다 의 합 판매하지만이 시간은 판매하지 않습니다

금액, 그것은 단위 가격이며 이 계정은 SUM이 아님 – SUM이 아닙니다 판매 단위 계정 가격 AND LASTLY 우린 이걸 가지고있어 특별 한

줄이 있다면 영업 표 괜찮아 테이블을 지정했습니다 DAX 계정 손실 기능 그걸 이끌어 갈거야 통합 매핑

너를 볼 때 너는 볼거야 보고서에 실린 금액과 그 정보 할머니는 줄을 감쌌다 카운트 기능 사용하기 그 계산 표 사용 행 매핑 괜찮아

지금은 그게 전부예요 할 일 우리는 여기에 다시 올 것이다 순간 어서 가다

과 신청하고 내가 무엇인지 지금해야할 일이 QUERY입니다 DATASET 및 DAX STUDIO 사용 히트 할 때 실제로 기능을 없애라 THE – TO DETECT 날씨는 당신이 캐시를 얻고있다 안타깝게도 DAX STUDIO는 공개 소스입니다

도구와 위대한 닥스가 많이 있습니다 디버깅 기능 포함 및 포함 – 포함 우리가 골목에 닿을 수 있는지 우리가 할 첫 번째 일은 이 쿼리를 실행하십시오 이 검색어는 간단히 묻습니다

연간 매출액 합계 에 속한 성질 히트 수있는 날짜 치수 은닉처 알아 보자 우리는 우리의 연구 결과를 얻었다 타이밍까지 과

괜찮아 괜찮아 그래서 IT – 내가 보여준 것입니다 캐시 히트있어 나는 왜 그것이 아닌지 확신하지 못한다

SQL 표시 내가 다시 만나게 해줘 이 괜찮아 우리는 사기가 있음을 보여줍니다

XM SQL을 IT에 메모리 캐시의 데이터 그렇게 즉시 더 이상 어떤 것도 찾고있다 그것이 캐시를 타격했다는 것을 압니다 영업 표는 직접 QUERY입니다

그리고 판매 표는 수입품이다 그리고 분명히 영업 AG 테이블 및 직접적인 질의를 실행하지 않았다 출처 우리는이 손재주를 가지고있다 되감기 이벤트 이것은 확장 된 사건이다

침입자와 안내자가 함께 할 수 있습니다 우리는 일치를 얻었습니다 IT가 미국에 대해 더 자세히 설명합니다 당신은 – 슬픔을 알았습니까? 실제 질의 및 – 우리가 가지고있는 칼럼 매핑 익숙한 나는 실제로 프로 바이더가있다 잘 실행

그러면 너는 무시할 것이다 맨 위에있는 스터프, 너는 할 수있어 이 질문에 대한 답변을 찾으십시오 지금 그리고 우리는 총 테이블을 얻었다

일치하는 것으로 다시 채우고 이것은 데이 팩 엔진 질의 및 사용 프로필 확장 이벤트 괜찮아 알았어 지금 나는 가고있다 이 쿼리를 실행하려면 대신에 똑같은 질문 그것도 합계를 요구하고있다

판매하지만,이 시간에 의해 그룹화 상품명 우리는 데이터를 가지고 있지만 이걸 가지고있어 제품 이름으로 시간 그룹화 제품을 잊어 버린 경우 여기, 그리고 이건 안돼 – 이것은 설상력이 아닙니다 판매 AG 테이블을 명중 할 수있다, 오른쪽, 그것은 하위에 관련되기 때문에 제품 카테고리 및 될 수 종류를위한 많은 제품

따라서 사기는 아니지만 SQL 미국의 직접적인 QUERY SQL 표시 QUERY가 제출되었습니다 비행장에서 우리가 재 포장에 가면 여기에있는 사건 너는 그 시도를 볼 수있다

실패한 괜찮아 그래서 모든 것이 우리처럼 일하고 있습니다 예상 할 것이다 똑바로 간단하지만 개념을 비난했다

괜찮아 그리고 지금 나는 가려고한다 이 사용 시간에 대한 다른 질문 COUNT 행 계산 테이블 행은 IS 여기로 이끌어 갈 것입니다 그리고 여기 우리는 검사를 받았다

메모리 캐시 및 가져온 메모리 매치 테이블 리 레이드 녹이다 COUNT 행 수위 행 수 질문자를 실행시켜 주셔서 감사합니다 THE AVERAGE를 요구합니다

이것은 내가 어디에서 언급하지 않았던가요? 총회 중 하나에 하나 DAX 집계 기능 기능 우리는 아무것도 설정하지 않았다 평균 및 그것을 준비하는 것이 어렵다 – 평균 집계 열에 입력하십시오 집계 테이블,하지만 흥미 진진한, 우리가 이걸 실행한다면 QUERY, 우리는 여전히 AG HIT를 얻습니다

스캔 및 되감기 오른쪽 일치를 찾았습니다 그래서 어떻게 작동합니까? 이 일을 한 이유는 우리는 단가의 평균값과 만약 그렇다면 돌아와 기억하고있는 단위 가격은 우리가 SUM의 양쪽 모두를 설정하는 칼럼 그리고를위한 것 WHOOPS

합계와 회계 내부적으로, DAX AVERAGE 기능은에 의해 처리됩니다 엔진 그리고 엔진은 가고있다 내부적으로 SUM과 바로 그걸 나누세요 그래서 내부적으로 A를 생성 할 수 있습니다

SUM에 대한 별도의 하위 쿼리 그 사람의 수는 여전히 집합 SO 평균은 잘 작동합니다 최대 계정이 아님 다른 DAX가 있습니다 작동 할 수있는 기능

그리고 다음에 내가 갈거야 실행은 분명한 수치입니다 설 정하면 지구 카운트가 적용됩니다 AG HIT NOT 멀리 가지 마세요

그것은 AG와 우리가 할 수 있지 않은가? 이 주소를 지정하십시오 이것에 관해서 이야기 해 보자 제출 됨 데이터 쿼리 및 사용자 DISTTINGTD를 참조하십시오 여기서 질문하기 그래서 우리는 무엇을 할 수 있습니까? 질문

분별력을 위해 우리가하는 일 우리는 분별력을 요구하고있다 고객의 수 스키 늙은 통역 대화 훌륭한 열쇠로 관리하십시오 AG HIT를 얻으십시오

엔진은 똑똑해졌습니다 GROUP BUYS ON을 (를) 지정하지 않았습니다 열쇠와 내가 알고있는 건 알았어 그룹 AG와 설립 관계 나는 AG와 IT JUST 만 명중시킬 수있다

공장 번잡함 및 판독 가능성 자신 만의 – 귀하의 의지에 따라 독자의 이해 의 IT 그룹 구매 판매 자동 날짜 키 그룹 별 판매량, 고객 키 AND GROUP BY -이 하나는 영업을하지 않아도 꼭 가야합니다 제품을 얻는 제품 부대 키 최종 키는 제품, 부대 키

우리는 실제로이 일을 할 수있었습니다 이걸로 우리는 고객 키가 A 인 엔진 GROUP BY COLUMN 그래서, 그래서, 우리는해야만합니다 거기에는 모든 가치가 있습니다 고객 키별로 그룹화해서는 안됩니다

그것이 모든 것을 가지지 않는다면 그 안에 가치 그것이 모든 가치를 가지고 있다면 거기에, 실행에 대한 분별력 질문을 식별하고 실행하기 대접 테이블과 호프만 GO 센스가있는 경우 저장하십시오 만약 내가 그 분별을 실행한다면 COUNT WE 데이터와 웹에 대한 스캔 결과를 얻습니다 일치를 찾았습니다 그럼이게 쓸모있어

대본 어떤 분별력 QUERYERY 직접 쿼리에서 수 있습니다 천천히, 그리고 – 나만 오전 그 점을 지적해라 COUNT 명은 좋아지지 않을 것입니다 모든 세포질의 은총 분별력 문제

데이터를 캐시에 저장하는 경우 메모리 A DISTNCT COUNT 문지방 두 사람과 다섯 사람 사이 백만 개의 가치 가치가있는 곳 너 히트 겠어 어떤 일을 시작하십시오 성과 문제 판매액이라도 10 수백 개의 행이 캐시 된 테이블 MEMINGRY와 3 천만의 열쇠 고객 가치관의 중요성 개선되었으므로 3 ~ 4 백만 달러를 가질 수 있습니다 AG 테이블에 놓인 줄은 10에 액세스하는 것보다 낫습니다

백만장 자 테이블 메모리에 알았어 그럼에도 불구하고 아직 – 일부 DISTINCT COUNT로 제한 이 경우 세부적인 테이블 직접적인 질문입니다 당신은 오래도록 개선 할 수 있습니다 그룹을 설정하면 – THE DISTNCT VALUES 그리고 너는 완전한 목록을 가지고있다

DISTINCT VALUES의 집계표 괜찮아 괜찮아 여기에 마지막으로 쿼리 -이 하나 우리는 HIT 9 AG를 기대합니다 이미 우리가 봤기 때문에 판매액 합계액 HIT THE AG

그리고 그것은 AG를 친다 나는 이걸 보여주고있는 이유 야 이것은 조금 더 많은 것 복잡한 측정 또는 계산 우리가 가져 가고있는 카라테 판매 합계와 그것을 나누기 줄의 수는 없습니다 단순한 합계 대책, 권리 이것은 복잡한 조치이다

점수로 나눈 의견 차이 TH의 비율로 다중 곱하기 이자형 다른 사람 한 명당 표 동부 표준시 CETERA, 동부 표준시 내부적으로,이 복잡한 대책 개념적으로 A가 개발 될 것입니다 Folders를위한 LOGICAL QUERY PLAN SUM MIN-MAX 계정에 이르기까지 정보가 없으면 볼 수 있도록 실행하십시오

각 기관에 대해 AG에 도달 할 수 있습니다 하위 쿼리 의 합을 위해 한 번만 셀 및 계정에 대한 한 번 행과 IT가 그것을 결정했습니다 그것들 둘 다에서 얻을 수있을 것입니다 캐시하고 히트

하지만 물리적 질의 계획은 다른 비트이지만, 논리적으로, 너는 어떻게 생각할 것인가? 그것 잘 대처합니다 괜찮아 괜찮아 나는 가봐야 겠어

고마워 많은 감사합니다 정말 고맙습니다 이것은 – 이것은 거대하다 – 나 의미, 나 – 나는 모두가 아니다

내가 좋아하는 사람처럼 느껴졌다 열쇠와 물건, 그러나 이것은 RIT는 가장 큰 게임이다 인터랙티브 용어의 변경자 내 큰 데이터 분석 역사 속에서의 여론 세상에, 너 알지 이것은 거대하다 나는 이것이 의미하는 바가된다

인터랙티브 분석 그 당시의 방대한 데이터 전에는 불가능합니다 이것은 진정한 게임 체인저입니다 그리고 나는 내가 진실이라고 생각한다 지금 당장 시위가 나온다 어떤 것보다 더 간단합니다

보다 향상된 성능 우리가 제공 한 기능 GRA GREGATION AND MAS 에스 치수 나는 우리가 무엇을 요약 할 것인가? 을 통하여 보석에 관한 첫 번째 이야기 저장 모드 나는 이것을 요약하고 싶다 이것에 대해 생각하는 방법 그것의 개념적 방법 가질 수없는 힘 BI 허용 힘 BI에 힘을 실어 라 측면

그것은 JOIN과 그 것을 밀어 넣을 수 있습니다 아래쪽으로 작업 그룹 더 많은 소스 실력 있는 보기를 위해, 우리는 모형이있는 경우에 판매액 10 억 달러와 마찬가지로 질의와 데이터 테이블에 올라라 가져 오기입니다 현재의 건물에서, 당신은 많이 갈 수는 없습니다

관계,하지만 너무하지 진화 한 BI의 먼 미래 데스크톱 너는 그렇게 할 수있을거야 이 방법에 대해 생각한다면 IT가 작동합니까? 실적 OMENTMIZEED 당신이 그것에 대해 생각한다면 모든 10 억의 행을 가져올 것입니다 DQ 모드의 영업 테이블에서 그리고 얻는 힘 BI에있는 JOIN를하십시오 날짜 테이블 및 모든 날짜 데이터가 메모리입니다 약간의 연습에서 조금 더 보다 효율적으로 생성 그 원인이 펠러 인 경우 근원에 아래로 밀 것이다

그 방법은 파워 쿼 리입니다 이 교차 소스를 사용합니다 그리고 그것들에 의존하는 전원 조회의 개인 정보 보호 수준 필터 – 당신이 어디서 왔는지 모든 필터 회원 질문 어느 쪽도 효율적이지 않다

인원 제한 너는 그걸 넣을 수있어 필터 IT는 아주 많습니다 SUM 그룹을 밀어 붙일 수있는 효율성 999의 출처로 사례

대신 수행하려는 작업 요일은 보석입니다 QUESTIONER 고맙습니다 너는 날짜 테이블 만 만진다 메모리 팩트 테이블의 다른 것들 날짜 속성으로 그것은 메모리에 반환됩니다, 요청하는 쿼리를 실행합니다

연간 매출 합계, 그 합계 운영에 의한 그룹이됩니다 소스 아래로 밀어 넣습니다 모든 권리, 그래, 다시, 그냥 너 – 위험을 피하기 위해 전력 BI를 허용합니다 힘 BI에 JOIN을하기 위하여 훨씬 더 많은 쪽 실력 있는 여기에 기본 규칙이 있습니다 – 그리고 집계는 이것을 요구한다

AG Hit를 얻으려면 만약 당신이 관계가 있다면 그 (것)들에 따르지 않는 규칙 너는 얻지 못할거야 총집합 이것은 객실의 요약입니다

단일 출처 관계에 관한 테이블이 될 수있다 보석을 얻는 이유는 무엇입니까? 크기는 – THE 치수 표는 보석입니다 테이블 그게 복잡한 이유는 모델의 선전 보석 저장고는 최고입니다

유능한 그건 그 데모를 요약하자 관계가있는 것으로 예언 된 보석 치수 표 및 들어가기 이민 및 설정되지 않음 그룹 별 열 우리는 아직 히트를 얻고있다

수와 함께 외국 열쇠와 분별력이 현저하게 높았으며 AG 히트와 러닝 얻기 DAX STUDIO 및 TRACING의 DAX 우리가 얻은 것과 똑같이 AG 조회수 또는 아니요 그리고 우리는 안으로 움직일거야 우리가 설정하는 방법의 순간 큰 데이터 모델입니다 큰 데이터 모델 큰 데이터 – 데이터웨어 하우스

언제 내가 큰 소리로 말할 때 큰 데이터를 말할 것인가? 데이터 천천히 다르게 형질 우리가 그걸로 굴러 갈거야 나는 잠시 멈추고 싶다 누구도 그 질문이있어

– 내가 커플을 데려 갈 수도있어 질문들 나는 얻는 내용이 많다 그러나 치수에 관한 질문 원하는 경우 모델링하거나 할 수 있습니다 똑바로 움직여 라

확실한? 예 예, 내가 이해한다면 메모리에 대한 질문 집계 테이블, 설정 가능 리프레쉬의 빈도 그 테이블에 특별히? 절대적으로 당신은 할 수 있고, 실제로 내가 원하는 다른 기능 우리가 열리고 있습니다 힘 BI 프리미엄을위한 점 아무런 의미가 없을 수도 있습니다 사람들이 지금 당장, 하지만 절 믿으세요 거대한 금액의 AG의 기능 최종 서비스

그것은 당신에게 훌륭한 곡식을 줄 것입니다 통제 – 어떻게 수행합니까? 귀하의 청량 음료, 귀하의 청회 음료 구획과 그 같은 것들 EVEN – 새로 고칠 수있는 것 개별 테이블 또는 개별 파티션 및 전원 BI는 비약적입니다 – 우리는 그 순간에 토론합니다 짧은 대답은 예스입니다 끝내주는 말을해라

곧 출시 될 예정입니다 나는 하나 더 질문을받을 것이다 그리고 계속 움직여 라 예? 그래서 내가 가지고있는 질문 약간의 시간을 요구 받았다 이게이 서비스를 의미합니까? 기숙사에 입원 할 수 있습니까? 그걸 포크 가져 주셔서 감사합니다

의문 아니야 20 번에 걸쳐 서비스가 시작되었습니다 연령 시장의 시장 지배자 설치 횟수

나는 많은 번호를 가지고 있지 않다 이 위로,하지만 절대적으로 20 년 동안의 시장 지배력 그리고 다른 사람들과 가까이있을 가능성이있다 20 년 다른 것은 그것이 무엇인지입니다 파워 빌은 약간의 비트를 구성합니다

힘 BI는 기본적으로 부드럽습니다 서비스 방해가 아닌가? 분석 서비스의 맨 위에 힘 BI에서 사용법 일뿐만 아니라 힘 비 프리미엄은 계속합니다 성장, 아직 분석 중입니다 궁극의 서비스 서비스 약관 서비스중인 제품 그들은 알 수 없다는 것을 알고있다

어서 가라 그래서 거기에는 많은 고객들이 있습니다 SQL 서비스를 계속 사용하고 있습니다 우리는 – 빛을 무시할 것입니다 힘 BI에있는 높은 특징 AZURE 서비스 및 SQL 서비스 서버가 릴리스입니다

모든 기능이 좋아하는 것은 아닙니다 집계는 힘 BI에서만 일어난다 그러나 절대적으로 아닙니다 AP 서비스가 멀리 가지 않습니다 우리는 단지 다음을 원한다 – 여섯 번째 이달, 우리가 실제로 일하고 있습니다

서비스 기능 제공 BI를 발전 시키십시오 SO 힘 BI는 A로 BOMOMES 슈퍼 분석 세트 서비스 그리고 너는 너에게주는거야 – 네이티브 서비스 생태계 당신이 가지고있는 경우에 아닙니다 서비스중인 서비스 힘들지만 너는 내 것이어야한다

대단합니다 그들은 지원 될 것입니다 뜻밖에 AZURE 서비스 중 하나입니다 가장 빠른 성장 AZURE 서비스 이게 다가오는 길은 없습니다

곧 완벽하게 지원되는 Around 장기 하지만 전략적으로, 우리는 – 우리가 원하는 힘 BI는의 가장 큰 것이기 위하여 기간 당신의 질문에 답하는 것입니까? >> 그걸 부탁해 줘서 고마워 의문

한 번 더 묻기 만했다 하나는 자연적이다 다음에 나올 법한 시험을해라 서비스에서 축하드립니다 파워 비엠 프리미엄

정확히 무엇인가? 전략 목표는 달성해야 할 목표입니다 여러분은 쉽습니다 많은 과정들과 침입자와 생명의 통합 주기 관리 및 모든 것 WITH WITH WITH WITH WITH SQL 서비스 데이터 도구 및 소스 그 우리는 그것을 아주 쉽게 만들고 싶어 MOD로 바꾸기 및 바꾸기 파워 비엠 프리미엄

언제 우리가 처음으로 소개 한 ANALYSIS SERVICES 그것은 당신이 할 수있는 큰 거래였습니다 SQL 서비스 만 사용하십시오 PREM 모델 및 서버 설정 서버 이름과 바로 가세요 일 했어

AZURE ACTIVE DIRECTORY AND WINDOWS 디렉터리, 차이점 그것은 단지 노력했다 우리는 똑같은 개념을 원합니다 손쉬운 운반과 이동을 제공하십시오 BI PREMIUM의 힘을 얻으려면 나는이 마지막 질문을받을 것이다

그리고 나서 나는 움직여야 해 그게 다야? 나는 보여주고있다 에서 사용할 수 있습니다 정부의 클라우드 현재는 사용할 수 없습니다 힘 BI 서비스에서

하지만 우리의 개인 프라이드는 없습니다 사람과 그것도 곧있을 것입니다 그리고 그것을위한 작은 지체가 될 수도 있습니다 정부의 클라우드에 참여하십시오 나는 정확하게 확신하지는 않지만 우리는 이것들을 만들기 위해 절대적으로 계획한다 사용 가능한 기능

전혀 우리는 가고 계속 나아갈 것입니다 지금 깊은 데이터로 돌아 가기 모델링 세계 괜찮아 괜찮아

너무 큰 데이터 모델 그래서 나는 되돌아 가려고한다 TRILLION ROW DATA SET 그래서 이것은 A로부터 데이터를 얻고 있습니다 스팟 클러스터 우리는 쿼터입니다 유산 데이터

모델 여기 – 감사합니다 흠뻑 그건 시험 이었어 나는 너에게 기뻐한다 깨다

나는 여기 트리 륨 줄에있다 데모 그리고 여기 모델 이건 S를 봅니다 활동

TRILLION ROWS 및 그 직접적으로 QUERY와 HDI SPARK에서 나옵니다 집계 테이블은 안으로있다 메모리와 숨겨진 것, 그러나 주요 차이는 A가 아니라 이 단일 관계 전체 모델 이 거대한 데이터 모델들 PETABYTE OF와 거래 할 수 있습니다 데이터 그들은 PETABYTE에 가입하지 않았습니다 데이터가 매우 잘 설정되었습니다

이것이 무엇을 의미 하는가? 효과적으로 FACT 테이블 모든 치수 특성 그것을 비장하고 저장했다 AZURE DATA LAKE STORE의 파일 그리고 데이터 호수에서 그게 – 그건 여기의 특징 우리는이 모델을 가지고 있지 않습니다

우리는 관계에 의존 할 수 있습니다 테이블에서 테이블까지 사실 표 우리가 할 수있는 일은 우리가 할 수있는 일입니다 이 테이블을 생성하고 생성하십시오 IT 스파크 매일 밤 스파크 쿼리 실행 이 집계를 생성하는 테이블 및 테이블로 존재 스파크와이 표가 나옵니다

TRILLION 줄에서 내려 – 이 특정 1 대 168 수만원의 크기 수백만에 달했을 때, 너 평소에 얘기하고있어 기가 바이트 또는 그 이상의 수 메모리와 10 기가 바이트 힘 BI 프리미엄과 우리는 계획한다 그걸 살면서 여전히 1

68 억 원 하지만 그게 사실 이니깐 TRILLION, RIGHT와 비교되었습니다 우리는 그렇게 작은 것을 어떻게 얻습니까? 우린 너무 작아 높은 바의 농도를 제거하십시오 열

그냥 경리와 길 찾기 다른 칼럼은 날짜입니다 우리는 약간의 드라이버를 가지고있다 소수의 소수 민족 교단 하지만 그 외 모든 것 ELSE는 카테고리를 따릅니다

카테고리 또는 억 양동이 – 직업의 마일 범위 다양한 가치의 숫자 열 상대적으로 매우 낮음 열은 A에서 내려옵니다 1 천 6 백억에 백분율 경비와 길거리

우리는 그걸 제거하고 있습니다 크기를 줄이고 줄이기 엄청나게 중요합니다 그 다음에는 QUERY THAT THAT 이 치수에 따른 그룹화 속성은 캐시를 공격합니다 로지 또는 길 찾기를하지 마십시오 내가보기에 내려 가면 개별 이동 포크 리프트 GALE JOHNSON이 그랬을거야

직접 질의를 실행하려면 불꽃 여기에 매핑을 설정하려면, 그것은 절대적으로 어땠습니까? 우리가 – 죄송합니다, 절대적으로 선택적인 곳으로 치수를 입기 전에 미국은 선택의 여지가있다 그룹 구매 우리는 아직 설정하지 않았고 GETTING AG HITS

여기에 절대적으로 필수적입니다 이걸 반복해라 속성 그룹의 매수마다 하나의 싱크 세부적인 테이블 생산성 그리고 세부 사항 열은 연관된 열 여기 아래쪽에 – THE가 있습니다

운동 우리는 합계와 위치를 얻었다 현재 테이블은 COUNT입니다 그게 트리튬 – TRILLION ROWS NUMBER 그래서 기본적으로

알다시피, 두 가지 옵션이 있습니다 이리 너는 의지 할 수있어 관계 또는 경찰 경찰관 케이 외형 치수 치수 표 하나는 그들에 더 가깝다

모델 너는 이것들을 혼합 할 수있다 원하는 경우 기술 대집 테이블이있는 경우 한 달에 당신이 원하는 레벨 그 달에 맞 춥니 다 귀하의 비공식적 인 속성 데이터웨어 하우스의 테이블

당신이 의지 할 수밖에 없었다면 그 관계를 평등하게 두 개의 분리 된 표를 하나씩 나오십시오 에서 AG에 들어가는 분량 표 내가 준비 할거라고 말 할거야 월, 분기 및 연도 집계 테이블과 SET 그 위에 매핑하여 그룹을 UP 다른 사람들을위한 그룹 설정 치수 표와 IT 계속 작동합니다 혼합 및 일치

치수 표 정상화하고 싶지 않아요 에이 작은 BIT도 알 수있다 풍경이있는 너는 선택권이있다 어떻게 할 수 있는지 융통성있게하십시오

말이 돼? 괜찮아 알았어 그래서 우리는 정말 좋아 시각 >> SPILL이 (가)에서 벗어났습니다 집계 및 이동 우리가 가지고있는 다른 큰 특징들 구체적으로 전원 공급 장치를 사용합니다

주변 서비스 둘러보기 특징 POWER BI 번쩍 번쩍 번쩍 번쩍하는 질문들 총회는 내가 한 두 가지를 할 것이다 또는 점프 스트레이트 에서 N예요 확실한? 힘 BI 시험 APP에? 전원 BI 덱 스톱 고맙습니다

질문은 얼마나 되었습니까? 기억은 힘 BI 안에 필요합니까? 큰 회사와 거래 할 수있는 데스크탑 볼륨? 좋은 질문 나는 그 곳에서 뛰고 있었다 15 및 20 기가 바이트 사이 너무 낫다 게시 서비스

이건 NOT에서 변할거야 너무 먼 미래 정상적으로는 다른 방법이 될 것입니다 약 증가 기능을 사용하십시오

소비를 줄이십시오 장소 상에서 1 년에서 10 년이 될 수 있을까요? 백만 줄 데이터 세트 및 증대 할 때, 언제 다시 시작해야합니까? DECKSTOP LOAD ONE에서 다시 채우기 데이터의 10 일 좋고 작은 나는 그 서비스에 간행했다 참신한 정책을 요구하고 데이터를 모두 10 년 동안로드합니다

GO, UP, SA, 50 GIGABYTES 또는 어떤 것 이것은 정상적으로 작동하는 방식입니다 그리고 새로 고침과 세트 모든 것을 다하십시오 – 모델링을하십시오 소량의 SET-UPS 및 메타 데이터 일부분 그리고 만약 당신이 그것을 새로 고침 한 서비스 및 호출 정말로 커집니다 IT는 한 지점으로 성장합니다

책상 위에 크게 열어 놓으십시오 우리가 가고있는 곳이야 이 괜찮아 나는 하나 더 질문을받을 것이다

그리고 계속 움직여 라 너는 줄을 사용할 수있을거야 수준 보안 OBJECT LEVEL SECURITY는 회합에 함축 된 의미 표

그래서, 한줄의 로우 레벨 보안 일하면 우리는 이걸 가질거야 기능은 일반적으로 사용할 수 있습니다 당신이 그렇지 않다면 그 지점에서 관리자 및 그것을 통한 액세스 역할 역할 수준 보안 또는 객체 레벨 보안 또는 그렇지 않을 것입니다 규정을 준수하십시오 – THE 집계표

너는 줄을 사용할 수있을거야 보안 너는 로우 레벨을 가질거야 경고 할 보안 필터 통일 테이블 아래로 그리고 사실 테이블, 그리고 거기 그게 당신 일이 될거에요 알고 있어야합니다

유일한 것으로 홍보 할 수있는 것 하나의 테이블과 다른 테이블 최신 세션 커버 한 번은 기능을 사용할 수 있습니다 짧은 대답은 예, 당신입니다 전체 통제 이 테이블에 접근하십시오 괜찮아 그래서 나는 지금 움직일거야

그래서 종말 산업 표준 프로토콜 FOR – 그냥 채택하지 마라 MICROSOFT MICROSOFT는 IT를 시작했지만 다른 것은 시작했습니다 판매자는 그것을 잘 사용합니다

고객을위한 프로토콜 PRIMARYTOOLS로 일차적으로 도구 – PRIMARILY 클라이언트 도구로 작업 할 수 있도록 – 비즈니스 인텔리전스 데이터베이스 권리 그리고 우리가 AXMLA END POINT 일 때 우리가 이야기하는 것 – BY 권리 XLM 종점을 말할 때

우리가 무엇에 관해 말하고 있는지 도구 묶음 POWER BI SCREPTOP 또는 EXCEL이 될 수 있습니다 우리 모두의 경쟁자 제품 및 제 3 자 BI 도구 – 필요 없어 그 (것)들의 무엇이든, 그러나 정당하다 평생 다른 모든 것을 말하십시오 주요 BI 공급 업체 프로모션 연결되어 있기 때문에 연결성 20 년 동안의 시장 선두 주자 이 도구들 모두를 사용하십시오

라 엔드 포인트와 프로토콜 분석 서비스에서 데이터를 얻으십시오 SQL과 같은 관리 도구 서비스 관리 및 프로 필러 및 SQL Server 데이터 도구 SQL 데이터 도구는 모델입니다 제공 – 모델링 도구 AZURE 서비스 이 모든 것은 XMLA 끝점을 사용합니다

POWER BI가 실행중인 서비스 배경 그래서 미국은 엄청난 스트레스가 아닙니다 이 XMLA ENT POINT를 열려면 모든 것을 의미하는 힘 BI 이러한 도구는 자동으로 실행됩니다 전원 BI 및 서비스 우리는 분석 기능 힘 BI 프리미엄 안에

지금 기술 프리미엄 원인 그리고의 광대 한 주요 분석 기능 OPEN PLATFORM 어디 있니? 재사용 할 수없는 그는 남자 틱하고 다른학과를 통해 다른 도구를 사용하고, 경영 성 APIs, ET CETERA 이것은 귀하의 약관에 큰 영향을 미칩니다 알고 계시고, 분석을하시오

서비스 기능 BI 단지 아닙니다 개방형 플랫폼 연결성, 그러나 내가 말했듯이 아피스 실험실 모형이 소개되었습니다 SQL 서비스 2016 분할을 위해 사용 된 INCREMENTAL을위한 관리 분석 서비스를 새로 고칩니다

그러나 IT가 – 그것을 사용할 수 있습니다 커뮤니티 도구 알다시피, DAX STUDIO 착용하고있다 티셔츠 이 커뮤니티 도구들 모두 힘 BI와 함께 일하게 될 것입니다 그리고 – 부유 한 역사가 있습니다

커뮤니티 도구 및 일부 저기서 정말 좋네 그리고 우리는 모든 성찬을 얻습니다 그래서 우리는 테이블 스크립팅을받습니다 출신 언어 SQL 서비스 관리 스튜디오 행정부에 잘 어울린다 펑키 지루한 기능

그리고 AZURE 서비스가 입지 않음 20 SQL 분석으로부터의 힘 서비스 그래서 모든 것이 가능해질 것입니다 너무나 먼 미래에 XLMA 끝까지 전철기 O 민주당 원 – THE XLMA 종점 용 데모 인상적입니다

나는 요약을 요약하고 싶다 새롭게 하다 하루 만에 코드를 실행해야합니다 칸막이를 관리하십시오

증대 된 거래 신선한, 10 억의 행 TEN-YEAR DATASET 새로워보십시오 너는 다시 타고 싶지 않다 매일 10 억 달러 씩 새로워 야해 증가를 설정하려면 새로 고침하십시오

지난 5 일 동안 만로드 당신을 위해 다룰 데이터 데이터 변경, 예를 들어 그래서 분석 서비스에서 BI 전문가에게 쓰기 수천 줄의 수천 이거 관리해 권리 거기에는 중요한 사람이 있습니다 관리,하지만 키 중 하나 서비스의 강점과 사용 그럴 수있는 표적 개체 모델

전원 BI에서, 우리는 이미있다 인상적입니다 YEAR, POWER BI, IT에서 이 단순한 대화 상자로 간주 됨 INCREMENTAL을 지정하는 곳 오래된 정책은 없습니다 너에게 보여줄 시간을주게 지금 책상에 설치하려면 다음과 같이하십시오 너는이 링크에 갈 수있어

그것을 설정하는 방법의 데모 이 대화는 기본적으로 위로 말합니다 이 값을 정의하고 정의 새로워진 정책, 모든 권리 그래서 지금은 말하고 있습니다 당신은 새로 고침을 우리가 초기에 토의 한 서비스 아무 데나 탁상에

데스크탑은 십분 만에 하나가 될 것입니다 데이터 및이 정책을 정의하고 게시 및 새로 고침, 처음으로 새로 고침받을 것입니다 LANGUOR는 10 대를로드 할 것입니다 1 년 및 후속 재실행 지난 5 일을 불러올 것입니다 보기를 위해

마지막 끝의 태블릿 코드에서 RTI 몇 년 만이기 서비스 그것의 추출과 만들기 추출 및 너는 그것의 정밀한 통제가 없다 AG 서비스에 가입하십시오 당신은 대단한 권리를 가질 수 있습니다

쓰기 부분 XLMA ENDPOINTS, 너는있을거야 같은 컨트롤을 입력하십시오 POWER BI 괜찮아

그래서 나는 넘어서 넘어 질거야 SQL 서비스 관리 스튜디오 나는 여기있다 힘을 합쳤다 BI 작업 공간

권리 이것은 SQL 서비스가 아니라 NOT AZURE 서비스 나는 힘 BI에 연결되어있다 작업 공간 및 전체 목록 작업 공간에서의 데이터 세트 그들은 AZURE SERVICES를 보았습니다 모델

기술적으로 그들은 아주 좋다 서비스 모델 서비스는 소프트웨어입니다 분석의 맨 위에있는 계층 서비스 그리고 이것은 거친 스트레스가 아닙니다

거룩한 위엄을 누릴 수 있습니다 BI에 힘을 실어주는 기능 여기있다 – 여기있다 여기에 같은 데이터베이스가 있습니다 작동 공간

괜찮아 그래서 내가 지금 무엇을 할거야? 파티션을 확인하십시오 나는 실제로이 열림을 얻었다 이미 그래서 나는 이 여행 표에 대한 구분

현재 내가 정의한 것은 인상적으로 새로 워진 정책 그 대화와 BI 서버를 서비스에 사용하십시오 그것은 실행되지 않았다 아직 새로 고침 전력 BI 클라이언트는 처리 할 수 ​​없습니다 여러 개의 파티션이있는 경우 하나의 칸막이가있을 수 있습니다

1 년 또는 10 일 안에 그것을 맞추기 책상과 모델의 메타 데이터 나는이 글을 모델, 다른 어떤 것과 마찬가지로 스크립트 데이터베이스와 여기는 그 모델의 전체 메타 데이터 나는 결코 힘을 얻지 못했다 BI와 DID 및 SCRIIPTING 목적 그리고 내가 여기있다 증가하는 상쾌한 정책 나는 그 대화에서 정의했다

괜찮아 그러나 나는 그것을 가지고있다 왜 새로 워진 지 요청했습니다 오직 하나의 칸막이가 있습니다 앞뒤로 가면서 새로 고침하기 힘 BI를 통해 서비스, ​​우리는 SQL에서 그것을 할 것입니다

서버 관리 스튜디오 및 – 분명히 시간 초과를 알립니다 이 프로그램이 실행되는 동안, 이 중 하나를 어떻게 만들어야합니까? 명령 그래서 우리는 공정 테이블을 말할 수 있습니다 나는 완전하고 말하기를 원할 것이다 스크립트

그리고 나도 그럴거야 명령 이 두 가지가 없습니다 매개 변수는 무엇이 아니기 때문에 그들에 대해 알고 계십시오 같은 명령

이 말은 새로 고침 정책 및 다른 사람 효과적인 날짜를 무시하십시오 오늘은 할 수없는 또 다른 일 증가하는 글씨가 새겨 져 있음 POWER BI 그리고 2012 년에이 결말 현재 날짜 이 롤링 관리 창문, 오른쪽 너는 그걸 무시할 수 없어

날짜는 있지만 XLMA 끝점 및 스크립트 언어, 당신이 될 것입니다 그게 끝났 으면 새로 고칠 수 있어요 분할과 생성 예산 부 그것은 각각을위한 분할을가집니다 5 년

너가 정책을 전부 생각하면 내 전체 데이터를 원한다고 여기에 SET 또는 ROLLING WINDOW는 5이다 연령 2019 년 새해를 맞이했을 때 IT는 2011 년을 모두 버리고 모두를 수행합니다 이것은 미국과 그 이후에 – 우리가 가까이에 – 현재 날짜, 낮추기 분계선의 자갈 우리가 얻을 때까지 올라간다 우리가 말한 8 월 13 일 현재 날짜입니다

권리 그리고해야 할 이유 이것은 그것이 유지할 수 있다는 것입니다 계약 만 갱신합니다 마지막 – 나는 그것이 마지막이었다고 생각한다 일순

계약, IT 유지 파티를 가질 필요가있다 낮 시간을 낮추십시오 그리고 우리가 앞으로 나아갈 때, 나는 앞으로 전진 할 것입니다 오늘 우리가 전진하는 동안, IT 새로운 하루와 의지를 낳을 것입니다 기회를 제공하는 기회 동원 T 그가 하루 개월 수 및 월간 4 분기 및 분기 더 큰 압축을 얻고 클리너 사용법

한 번 우리가 이루어질 것입니다 이 새로 고침과 8 월 14 일보기 이거 줘 둘째 그리고 지금은 14 일입니다

너는 내가 여기를 클릭하면 새로 고침 시간 에 대한 그만큼 마지막 10 개 파티션 또는 그보다 더 이전 ONES 전체 데이터를 새로 고치지 않았습니다 세트 가장 최근의 10 일만 정책에 따라, 모든 권리 당신은 훌륭한 곡물 관리를 제공합니다

아주 많이 고마워요 아주 많이 고마워요 이것은 정말 열립니다 필요한 곡물 제어 이 엔터 프라이즈 스케일 관리 모델, 그리고 그것은 – 당신이 알고, 이 미세 곡식을 그대로 사용하십시오 제어

그리고 너 – 그리고 너 또 다른 너야 현재는 할 수 없다 증대 된 새로 워진 것과 함께하십시오 역사 파티션을 새로 고칩니다 너, 너는 모두해야 해

의회 하지만 지금은 2012 년 중 일부를 말합니다 예를 들어, 재실행되었습니다 그들은 회사의 명맥을 가졌습니다 그리고 우리는 계정 필요 – 난 알고 있지 마라

역사적 분할의 상쾌함 십일월보다 더 오래되었습니다 증가하는 범위와 새로 워진 IT 어서 가서 새로워라 전용 20 12 분명히 나는 ​​그것을 완전하게 설정할 것이다 그러나 시간의 관심사에서, 나는 IT를 신속하게 유지하고 싶습니다

그 멋진 곡식 컨트롤 역사적인 구획 증가하는 REFRESH 및 XLMA 끝점 이것은 무엇의 요점입니까? BI를 얻으려고 그것은 시장을 지배 해왔다 대부분의 경우, 수년 동안 PRIMARYFOR MA 뉴욕, 몇 년 전 그것이 잘 작동하기 때문에 이 IT 소유 기업 모델

우리는 있습니다 브라이언 엔터 프라이즈 BI를 POWER BI 그리고 그것을 모두 할 수있는 한 곳 정밀도를 한 곳에서 만끽하십시오 예술품 너는 갭을 연결할 필요가 없다

두 제품 사이 마지막으로 내가 너에게 보여줄거야 정말로 빨리, 나는 아직도 가지고있다 4 분 너무 빨리 당신을 보여줍니다

HOPEFULLY 분의 커플 마지막 질문은 행동과 수명주기 주기 조치 SO – 분석 서비스, SQL에서 모델을 제공하십시오 서비스 데이터 도구 시각적 스튜디오에서 뛰기 혼자만은 당신을 의미합니다 근원과의 통합 컨트롤, 뒤로 롤백 할 수 있습니다

이전 버전 및 가능 그 런 런 오토 빌딩 최신 버전을 얻으려고 모델 메타 데이터의 복장 컨트롤에서 기단 및 자동화 된 건물 포함되는 것들 같은 서비스 새로운 배치를위한 배치 DATASETS XMA의 이온 종말 제한의 커플, 함께 프로그램 성 첫 번째 제한 인스턴스 및 첫 번째 릴리스입니다 요일 및 요일에 나타나는 롤 그 힘 BI의 데이터 세트 롤 업데이트 필요 – 및 자료 출처 죄송합니다, 롤 및 데이터 출처

ROLLS 및 DATA SOURCES 너는 단지 만들거나 갱신 할 수 없다 아주 첫번째 클릭에있는 것들 PUBLIC PREVIEW에 포함됩니다 너는 롤을 만들 수있을거야 및 자료 출처

다른 방법으로는 작동하지 않을 것입니다 첫 번째 릴리스는 단일 서비스 데이터 도구 우리는 단일 서버를 만들 계획을 세웠습니다 힘 BI로 작동하는 데이터 도구 프리미엄과 퍼스트 전통적 응용 평생 잊지 못할 라이프 스타일 워크 플로우 설명 됨 추가적으로, 우리는 변경 사항을보다 쉽게 ​​배포하십시오

환경을 가로 질러 너의 변화의 찬스가 있다면 개발 환경과 능력 개발자가 필요로하는 팀 생산에 버그 수정 정말 빨리 확실하게 할 수있는 많은 돈벌이 귀하의 개발 환경은 비웃는 소리까지 기민한 당신은 측정을 짤 수 없다

네가 필요로하는 정의 이를 통해 당신이 할 수있는 접근법이 있습니다 갖다 지점 관리 및 지점 병합 도구를 평준화하라

지점 조사를 위해 우리는 그것을 더 쉽게 만들고 싶습니다 묶음 병합이 없을 수도 있습니다 조직 역량 우리는 당신에게 선물을주고 싶습니다 – SCHEMESCHEMA DIF TYPE FUNCTIONALIT 와이 모델을 홍보하고 개발 시험 및 생산 POWER BI의 작업 공간

우리는 이것을 확장하고 싶다 모든 힘 BI, 그러나 첫째로 버전은 데이터 세트 용입니다 그래서 우리는 목적지를 가질 것입니다 서비스 대상 작업 강제력 및 데이터 세트, 스켐 차이와 당신이 선택할 수 있습니다 그리고 선택하십시오 배포 할 개별 항목 환경을 넘어서거나 아닙니다 괜찮아

이 경우 숨김 – 건너 뛰기 사물 여기에는 100 개의 테이블이 있습니다 다각에 초점 두 가지 버전 사이에서 데이터 세트 및 피킹 및 선택 건너 뛰기에 대한 개별 항목 볼 수 있습니다 실제로 여기 이 테이블 분파의 무리가있다 그래서 목표는 증가 할 수있다 새로 워진 세대와 내가 원하는 것이있다

새로운 측정법을 배치하십시오 나는 모든 나의 것을 다시 듣고 싶지 않다 데이터 이 테이블을 만지지 마십시오 혼자 떠나십시오

이 부분을 만지지 마십시오 나는 무엇을 선택하고 선택할 수 있는가? 이 제품을 배치하고 수행하고 싶습니다 확인 그리고 이것은 할 것이다 종속성 분석 대상을 비교하십시오 데이터베이스는이 두 가지를 삭제합니다 M 개의 매개 변수 때문에 그 테이블 예를 들어, 그들에 대한 교섭

TELE MODEL SCRIPT SCRIPT 그리고 앞서 가서 목표 및 옵션에 기반 가공, 동부 표준시 수행 할 수 있습니다 CETERA와 나는 상쾌하게 할 수있다 비교하고, 나는 단지 밀어 넣었습니다 안전에 대한 목표를 통해 다음 환경으로 가십시오 괜찮아 SO 신속한 신청 라이프 스타일 조치

다른 오픈 소스 도구 그래 계속 해봐 현재 발표문에는 없습니다 현재 발표문에는 없습니다 네

그래서 이것은 제공한다 너는 너에게 너를 준다 지점의 병합 이 서비스는이 서비스를 제공합니다 너는 그것들이있는 지사의 합병 네가 가지고있는 유일한 선택 세 가지를 보여주지 않습니다

머지 TIM 그리고 나는 더 많이 가질 것이다 질문이 없습니까? 알았어 그래서 나는 그 시간을 가지지 않았다 너 진짜 빨리 보여줄거야

W 죽을 – 다이어그램 스누즈와 함께 테이블과 별거되는 표제에 테이블 지역 및 설정할 수 있습니다 – 내가 했어 내가 할 수있는 것을 보여라 다중 객체 및 세트 저장과 같은 일반적인 속성 방법 기업용 기능 대형 복합 모델 아주 많이 고마워요

[적용] 평가를 기입하십시오 여기 일부 세션 자료가 있습니다 당신이 채우면 나는 그것을 찬성한다

The future of querying big data with Polybase and SQL Server – THR2170

>>> 앞으로 가자

시작되었습니다 감사합니다 모든 권리, 나는 TRAVIS WRIGHT입니다 나는 SQL에 관한 PM 중 한 명이다 서버 공학 팀 및 우리 PUTTING 작업 중임 함께이 SQL 서버 2019 마지막 큰 데이터 클러스터 1 년 또는 그 이상

우리는 단지 이것을 발표했다 주 수녀님 들께 공고 I 'm Guessing, 니가 왜 여기 있니, 그렇지? 너는 뭐라 생각하니? IT는 최고급입니까? 알지 못합니까? 알아 듣지 못하는지? 어떤 사람들에게는 새로운 것이 전부입니다 오늘 우리는 당신에게 KIND OF KIND OF 우리가하고있을 때의 개요 왜 우리가 그와 그 종류의 그냥 너에게주는 것 우리가 어디 있는지에 대한 의견이 있어요 머리와 우리가 생각하는 것 이것에 관해서, 우리는 매우 좋습니다

너를 얻는 데 관심이있다 우리가하고있는 것에 대한 피드백 또는 우리가 머리말을하고 있는지 여부 여기 오른쪽 방향 기본적으로 그것이 아래로 온다 데이터 사용자의 수 관리가 단지 폭발적입니다 내가 뽑아보고 싶은 통계 중 하나 밖으로 나 모르겠다

그곳에는 그걸로 밝혀졌습니다 80 데이터 오늘 세계에서 창녀 지난 2 년 동안 인터뷰와 같은 IT 소리 질문, 당신이 묻는다면 데이터의 양을 추정해라 세상과 사람처럼 흰색을 그려 내야한다

보드, 오른쪽? 거기에 많은 데이터가 있습니다 데이터 유형 우리는 저장 중입니다 더 많은 다양성을 낳을 것입니다 잘 IoT DATA STREAMS COMING 에서

데이터의 양은 제어 해제 정말 우리가해야 할 일 의 성공을위한 명령 우리 조직은 유용 할 수 있습니다 그 통찰력을 얻으려면 데이터 그것은 흥미롭고, 나는 보았습니다 몇 몇 금융 뉴스 채널 TV에서의이 아침, 그리고 모두 이 사람들은 이야기하고있다

한 분과 같은 다음에 표시 방법 회사는 집계 중이며 데이터를 사용 중입니다 그들이 말한 것처럼 AMAZON의 새로운 상점, 그들의 새로운 소매점에 보관하십시오 중 하나에 대해 이야기했다 주된 이유는 이것입니다 소매점은 가질 수 있습니다

사람들은 소매점으로 들어갑니다 그들은 데이터를 수집 할 수 있습니다 소매점 직원 소매업 매장 주변 및 이동 방법 상점 및 종류 사람들은 그곳에 와서 상점의 전체 지점이 아닙니다 물건을 팔기에는 너무 많지만 사람들에 관한 자료 수집에 행동을 산다 모든것이 엄청나게 내려갔습니다

오늘의 모든 방법으로 오늘의 TA 이 다른 뉴스 섹션 우리가하는 모든 일 중 하나 1 년 후 우리는 조사를하고 있습니다 소수의 수령 기업 그들이 어떻게 사용하는지 알아 낸다 기술, 그리고 우리는 가고 재무 성과 비교 이것들이 공개적으로 나온 결과 트레이드 된 회사 및 POST 성공하는 부분을 찾으십시오 방법에 관한 회사들 그들은 기술을 사용하고 있습니까? 이 회사들은 무엇입니까? 나머지와 다르게? 그리고 지난 몇 년 동안, 우리는 어디에서나 동향을 보았습니다

이 회사들 데이터 통합 ETL을 사용하지 않고, 그들은 있습니다 그들의 데이터를 합친다 만들기 위해 집중화 된 데이터 저장소 더 쉽게 데이터를 통합 가능하고 접근 가능한, 그리고 그들의 데이터에 대한 ANALYTICS 우리는 이러한 추세를보고 있습니다 그리고 우리가 할 수있는 말은 이 기업이 더 도움이되도록 도와주세요

SQL 서버와 성공 그 회사에 도움이되는 회사 커튼을 넘어서서는 안된다 성공할 수는 없다 그보다 더 쉽게하십시오 SQL Server 2019에 대한 정보 모든 것을 통합 할 수있게 해줍니다 귀하의 데이터와 모든 귀하의 데이터와 모든 것을 분석하십시오 귀하의 데이터, 그리고 우리는 그 정보를 오늘 세 가지

그래서 처음으로 시작하자 귀하의 모든 데이터를 통합하고 SQL 서버 2016 년, 우리는 A 기능은 폴리베이스를 호출합니다 사람들이 폴리 폴리를 어떻게 사용하고 있는가? 베이스? 괜찮아 그게 내가 예상하는 것 우리가 겪은 것은 무엇 이었습니까? 고객이 좋아하는 이유를 알았습니다

당신은 폴리베이스, 다른 무엇을 사용하여 문제가 있습니다 그 일종 사람들은 IDEA를 좋아하고 그것을 만듭니다 나를 위해 쉽게 통합 데이터,하지만 우리가 알아 낸 것 입양에 대한 압박, 그리고 우리 우리의 일부로서 언급 됨 해결책 우리는 그것과 동일한 개념을 취하고있다

폴리베이스가 어떻게 작동하는지, 사람들에게 더 편한 IT 생성하여 데이터 통합 테이블 그럼 너는 단지 그걸 질의 할 수있어 SQL Server의 내부 테이블 다른 표가 있겠지 당신은 다른 테이블에 그것을 조울 수 있습니다 하지만 QUERY DATA 시간에 그 테이블 밖으로 우리가 가서 얻는다

외부 데이터의 데이터 출처, 2016 년 우리가 그랬던 것처럼 클라우드 또는 호튼과 같은 것이 아닙니다 지금 HDFS가 2019 년에 작동합니다 오라클에 커넥터를 추가하면, 타라 데이타, 기타 SQL 서버 및 사용 가능한 일반 커넥터 모든 데이터 소스에 연결 그것이 OBDC 준수입니다 그리고 당신이 뛰는 시간에 QUERY 우리는 데이터를 가져올 것입니다 당신은 꼭 필요하지 않습니다

데이터를 SQL 서비스로 이동하십시오 QUERY IT 느낌을내는거야? 우리가 가고있는 것들 중 하나 성과 향상을 위해 노력하십시오 우리는 SQL 부분으로 소개하고 있습니다 이 기능이 호출 된 서버 데이터 풀 및 데이터 풀은 A SET SQL SERVER INSTANCES의 설정 배포하고, 우리가 할 일은 무엇입니까? 우리는 기본적으로 외부 테이블과 함께 이야기해라

데이터 풀 및 포인트 미국에서 A 데이터 풀, 우리는 데이터 소스와 같은 오라클과 같은 외부 데이터베이스 보기를 위해 그리고 그 자료를 얻기 데이터 풀, 파티션까지 이 모든 것을 IT 및 확산 여러 SQL Server 인스턴스 지금 자료는 고죄된다 여러 SQL Server를 실행합니다 그런 다음 QUERY를 수행 할 때 그 외의 테이블, 돌아 가기 대신에 자료 제공 및 자료 수집 지역 필터 및 집계 PARALLEL은이 모든 SQL을 포함합니다 서버 인스턴스

당신은 어디에서 유죄 판결을 받습니까? 그 각각의 설치 데모를 보러 가자 외부 테이블 만들기 신탁 그래서 나는 여기에있다 AZURE DATA STUDIO

기다려, 내가 너에게 보여 줬어 이 그리고 AZURE DATA STUDIO는 우리의 새로운 소식입니다 CROSS OS WINDOWS LINUX 및 MACK 모든 종류의 사람들을위한 도구, 데이타 사이언스를위한, DBA를위한 개발자 용 너는 다른 것을 볼 것이다

우리가 경험하는대로의 경험 이것,이 도구는 모든 정보는 귀하의 정보와 동일합니다 SQL Server 또는 사용자 안쪽에 앉아 있습니다 스파크와 함께 사용하고 싶습니다 우리는 이걸로 갈거야 SQL Server를 바로 여기에서 사용할 수 있습니다

우리가 닮은 것을 많이 찾아 본다 IN SQL 관리자 서버 지금 우리는 새로운 외부 테이블 마법사 창출 AZURE DATA STUDIO 내부 오라클 데이터베이스에 연결 외부 테이블 만들기 오라클 내부 테이블 내가 가야 할 일 이 외부 데이터 소스 A를 제공하십시오

이름, 그리고 내가 갈거야 이 서버에 연결 우리는 AT와 연결될 것입니다 XE 데이터베이스, 우리는 ORACLE CREDENTIAL 생성 및 우리는 연결하려고합니다 시스템과이 슈퍼 시큐리티 내가 너에게 말할 수없는 패스워드 IT가 너무 어렵 기 때문에

알았어, 지금 우리가하고있는 일 우리는 실제로 갈 수 있습니까? ORACLE 인스턴스 우리는 실제로 그걸 사용할 수있는 계획 데이터베이스, 우리가 선택할 수 있습니다 우리가 원하는 테이블 EXTERNAL을 넘어서 SYNCHRONIZE SQL Server 내부 테이블 우리는 여기 테이블에 열을 지어 라 우리가 원할 경우 매핑하기 알고 계셔, 다르게 열 이름 또는 우리가 원할 수도 있습니다 테이블의 이름을 변경하십시오

SQL Server 내부 및 그 다음 우리는 다음을 클릭하고 생성 할 수 있습니다 – 그리고 이것은 갈 것이고 창조 할 것입니다 미국을위한 새로운 외부 테이블 만약 우리가 지금 여기 저기로 가면 테이블의 목록을 새로 고침합니다 우리가이 새로운 오라클을 보았습니다 재고 목록 및 우리는 그냥 할 수 있습니다

이 항목을 1,000 개 이상 선택하십시오 테이블, 그리고 우리가 그 시간에 그냥이 쿼리를 수행하십시오, 우리는 가고 있습니다 데이터를 얻으려면 오라클 데이터베이스 뒤로 지금 당신의 모든 응용 프로그램 SQL Server에 연결 그 데이터에 대한 액세스가 존재 함 오라클 및 그 안에있는 테이블 REALTIME, 오라클은 무엇을 의미합니까? 권리? 이 종류의 문제를 해결하기 위해, ETL이있는 곳이면 누구보다도 일부 코드를 작성해야합니다 그 데이터 동기화

나에게 많은 것을 가져다 주었다 내가 할 수있는 것 이상으로 저 위저드, 맞아, 그럼 내가 옳을거야 ETL을 유지해야했다 SCHEME MA 때까지 운전하십시오 변경되었습니다

나는 중복 복사본을 만들어 내고있다 내 데이터와 내가 그것을 움직일 때마다 나는 그 안에서 움직이고있어 규정 준수의 경계선, 나는 그렇습니다 나의 공격 표면 증가 가난한 사람들을위한 지역 데이터의 모든 사본, 그리고 나도 알아야 해 끊임없이해야 할 종류 이거 지키고 있니? 모든 사람, 나는 너희 모두가 잘하고 있음을 확신한다

이거 가져라 나는 ETL SPAGHETTI라고 부른다 당신은 ETL SPAGHETTI를 가지고 있습니다 어디서나 직업을 가지고있는 곳 장소 너머 누가 알았어? 데이터의 AT? 사용자가 당신에게 와서 말합니다 내 데이터를 삭제하고, 너 오하이오

나는 네가 어디에서 왔는지 알지 못한다 데이터, 죄송합니다, 전부 끝났어 장소 우리는 장소에있는 데이터를 놓을 수 있습니다 그럼에도 불구하고 계속 질문 할 수 있습니다

SQL Server는 다른 테이블처럼 지금부터 살펴 보자 다음 중위 귀하의 모든 데이터를 관리하십시오 귀하의 모든 데이터를 관리하는 데있어서, 우리가하고 싶은 것이 우리가 원하는 것입니다 사람들을 위해 쉽게 만들 수 있습니다

그들의 큰 데이터를 통합하고 그들과의 관계 데이터 귀하의 관련 데이터입니다 이것은 당신의 큰 데이터입니다 그들은 사랑에 빠져 있습니다 그것은 아름답습니다 행복한 이야기, 그리고 그 것 우리가 가고있는 것의 종류 여기에

거의 모든 고객과 마찬가지로 얘기하자면, 빅 데이터가 있습니다 하나의 건물에서, 그리고 SQL 사용자는 다른 쪽에서 꺼져 있습니다 건물, 그리고 그들은 거의 이야기 그림을 제외하고 각각 다른 곳에 그들의 데이터를 어떻게 편집 할 것인가? 방법 또는 다른 절대 유일한 것입니다 해야 할 것

나는 당신의 자료를 원한다 나는 너를 원한다 데이터 그들은 그들의 데이터를 내보내고 있습니다 여기 저기

우리는 통일 된 창조를 원한다 배치가 가능한 시스템 당신의 관련 데이터와 빅 하나의 통일 된 솔루션으로서의 데이터 MICROSOFT가 제공 한 MICROSOFT가 지원하는 우리가 실제로 취하고 있니? 오픈 소스 프로젝트 주변 큰 데이터, APACHE SPARK 및 APACHE HDFS와 우리는 SQL Server를 사용하여 상자에 넣습니다 2019 SQL의 최상위에 SQL을 배치하십시오 쿠 베르 네트

너는 얼마나 친숙한가? 쿠 버넷 네? 그것에서 시작된 적용 분야 하지 마라 – 너는 잃을 수있다 귀하의 데이터 데이터가 실제로 없습니다 지금은 사람들이 시작하고 있습니다 이 컨테이너로 알기

에코 시스템은 성숙, 그들은 데이터베이스 작업을 실행하고 있습니다 KUBERNETES의 정상에 잘 어울립니다 거기에 대한 많은 장점이 있습니다 호스텔을위한 커 버넷 사용 이 아키텍처 그것은 아주 빨리 입양하게됩니다

콘테이너 : 나는 데모를했다 – 나는 할 것이다 곧 비디오 준비 완료 일부 HPE에서 YouTube로 이동하려면 그들이 제공 한 하드웨어 미국인들은 그들의 실험실에서 3 1/2 KERR RA는 RAM의 비트입니다 정교한 비니 시스템, 그리고 하나의 명령으로 할 수있다 전체 SQL Server 설치 2019 빅 데이터 클러스터 300 SQL Server의 인스턴스, 200 HDFS 데이터 노트, 200 스파크 런 시간 순서 원사, 노크, 레인저, A FULL 좋아하는 경영 평면 모든 것을 저장하는 열정적 인 검색 로그는 로그에 기록됩니다

전체적으로 INFLUX DB를 저장하십시오 모든 모니터링 데이터 관리자 PORTAL AND SO SO ON 이 물건을 내가 파견 할 수있다 싱글이있는 모든 것 명령 및 모든 이미지 있습니다 다운로드 한 모든 콘테이너가오고 모든 것 자동 유선 함께 SQL 끝낼 수 있습니다

포인트 또는 녹스 엔드 포인트 인 8 분 나는 당신이 다운로드 할 수 있다고 생각하지 않는다 SQL Server의 WINDOWS ISO 8 분, 그냥 다운로드 당신이 굉장히 인상적이야 이 때문에 할 수 있는가? 쿠 버넷 (KUBERNETES)의 건축

기타 주요 혜택 중 하나 KUBERNETES에 올라 타는 것은 그것의 것입니다 신청서 개요 플랫폼, 오른쪽? SQL 서버 2019를 실행할 수 있습니다 큰 데이터 클러스터 어디에서나 쿠 베넷 네 KUBERNETES 클러스터가 될 수있다 너는 예비에 너 자신을 가지고있다

데이터 센터 너는 너의 길을 열어 줄 수있다 미리 데이터 센터에 SQL Server 실행 2019 빅 데이터 AZURE 스택 맨 위에 클러스터 또는 당신은 그것을 관리 할 수 ​​있습니다

AZURE OR KUBERNETES 서비스 AWS, EC IT와 같은 측면에서 컨테이너 소스 정말 중요하지 않습니다 쿠 베넷 제공 미국을위한 계획, 그리고 우리는 할 수있다 우리가 원하는 곳으로 배포하십시오 지금,이 부분으로 우리가 배포 할 아키텍처 HDFS, 모든 HDFS 데이터 노드 SQL Server 엔진 실행 실행 바로 옆에 그것이있을 것입니다

잘 엔진에 스파크 그게 미국에 접근하도록 허용하는 것 둘 중 하나를 통한 데이터 링크 공유 SQL 서버 또는 스파크 작업 데이터 과학자가 선호하는 경우 스파크로 일하고, 대단하다 SPARK END POINT를 사용하여 그 (것)들에 연결하고하십시오 불꽃 구인 귀하의 응용 프로그램 개발자, 귀하의 DBA, MAYBE – 그게 아름다운

이 모든 것이 모든 사람에게 가능합니다 공유 데이터 호수 이걸 봐라 건축, 그것이 무엇인지 우리가 배포하는 곳으로 내려갑니다 우리는 저장고에 무엇을 부르는 지, 그리고 저장 풀이가 이거 야

HDFS, 스파크 및 SQL에서의 확장 성 그래서 건축은 시간이 지남에 따라, 당신은 근심을 가지고 있습니다 조인 된 하드웨어 용량 귀하의 커 버넷 클러스터로, 배포를 계속할 수 있습니다 추가 저장 수영장 포드 AT 그 레이어, 그리고 당신은 실행할 수 있습니다 SQL 서버의 쿼리 마스터 인스트럭션과 리치 다운 SQL 서버 사건에 – IF 한 줄을 읽고 싶다 여기 HDFS에있는 테이블에서 예를 들어, 상단의 외부 테이블 이걸 읽고 데이터 파일을 읽으십시오

우리가 그 시간에 무엇을할까요? SQL에 대한 질의를 보내라 그 위에있는 서비스 인스턴스 데이터 파일의 데이터 노드 IS AT AND SOY는 파일을 읽고 SQL Server에는 능력이 있습니다 데이터 파일 읽기 및 쓰기 NATIVELY 데모를 보러 가자 이 작업하기 사실은

이 쿼리를 작성하려고합니다 이리 미안, 나는 나가야 해 이 나는 항상 잊어 버린다

하기 위해서 괜찮아 그럼이 질문을 여기에서 가져 오자 우리의 사랑스런 천국으로 돌아 가라 데이터 스튜디오, 우리는 가고있다

이 새로운 검색어를 만드십시오 이 작업을 수행 괜찮아 자, 너 내가 갈거야 외부 테이블 만들기 이 디렉토리는 내부에 위치합니다

HDFS의 이것은 HDFS BROWSING입니다 당신은 AZURE를 경험하게됩니다 데이터 스튜디오 그것은 기본적으로 파일과 같습니다

경험이 풍부한 탐험가 경험 당신이 볼 수있는 AZURE STUDIO 그 모두가 계속되고있어 나는이 전화 번호부를 불러왔다 스트림 데이터를 클릭하면 의 수백만을 포함하는 파일 CLICK STREAM DATA의 기록 KY는 EXTERNAL TABLE ASK를 생성합니다 SQL 스토리지 풀 사용 QUARY를 사용하십시오

그런 다음 나는 정의를 읽었다 데이터 파일에 대한 스키마 나는이 외장을 만들 수있다 표 한 번 내가 외부를 만들어 낸다

테이블, 지금 당장 조회 할 수 있습니다 그저 내가 좋아할만한 테이블 다른 테이블과 흥미 진진한 점 특정 검색어는 유일하지 않습니다 나는 아래로 물러나서 CSV 파일의 데이터 SQL Server에서 HDFS로 이동 하지만 오늘 그걸로 기분 나빠 SQL Server 내부에서 실행 중입니다 마스터 일은 물론

이것은 나를 결합하게 해준다 그 마스터에 OLTP 데이터 실행 내 HDFS 데이터가 포함 된 인스턴스 하나의 질문 나는 그냥 테이블 조인이야 특별한 것은 없어요 약 그것

미안, 많이 들었어 당신이 상상할 수있는 한 이번 주 그래서 계속 가자 이리 그래서 지금 우리가 정말로하고 싶다면 BIG QUERY, 그럼 우리가 소개 할 수있어

우리가 무엇을 부를까? 손잡이 그것으로 여러 가지로 배포 버라이어티의 맨 위에있는 콘테이너 그리고 그들은 함께 일하기 시작했다 데이터 각 컴퓨터 손잡이 예 F THE 데이터와 각자의 말을 들어라 집계를하는 ​​기타 전체 설정에서 떨림

교차 분할 집계 및 날카롭게하고, 그것을 보낼 것입니다 머리로 돌아온 결과 마디 고맙습니다 내 팀이 앞으로 나아갈 것 같아 나를 둘러싼 다음과 같이 시작하자

이 지점에 물병 이 모든 일이 언제나처럼 이 지점에 있습니다 따라서 컴퓨터를 집어 넣을 수도 있습니다 외부 데이터 소스로의 이동 오라클, 테라 데이터, 동부 표준시 CETERA, 그리고 당신은 사용하실 수 있습니다 우리가 말한 데이터 팩 EARLIER, 그러면 컴퓨터를 뽑아 라 그 위에 꼭대기를 당겨 라

로컬 필터를 사용하고 있습니다 총괄은 여기 있고, 당신은 교차 분할하기 통일 및 해체 너는 비참 해 지금 건축 당신이 그것에 대해 생각한다면, 이것은 기본적으로 SQL 서버가 좋아함 항상 시스템을 비 춥니 다

너를 처리하고 싶으면 빠른 질문 또는 원하는 질문 더 많은 데이터를 저장하고 관리하십시오 당신의 좋아하는 OEM 및 구매로 가십시오 더 큰 상자, 그렇지? 이 건축물에 너는있어 당신이 할 수있는 가늠할 수있는 시스템 사용중인 저장소 확장 HDFS 저장 용량을 확장 할 수 있습니다

데이터 풀 인스턴스 사용 컴퓨터를 확장 할 수 있습니다 SQL Server 인스턴스를 사용 중입니다 이 레이어는 당신을 화나게했습니다 수평 확장, 수직 확장 네가 돌아갈 수 있다고 단정 짓는다

그리고 DOWN ON DEMAND 그것의 탄성과 스케일 이 작업을 통해 마스터 인스턴스 모든 이용 가능 그룹 읽기와 함께 읽기 확장하십시오 단 두 번째 SQL Server가 실제로 증가했습니다 이것은 A가 정의한 것이 아닙니다 단일 상자, 오른쪽? 이것은 당신이 지금 할 수있는 것입니다

거대한 건축물에 배치 그 규모가 크고 탄력적입니다 그래서 우리는 A를 제공 할 것입니다 통일 행정 경험 이것은 물론 그래서 당신은 AZURE 데이터를 보았습니다

SQL을 할 수있는 도구 그리고 HDFS 그리고 우리는 A에서 볼 수 있습니다 하나의 도구로 분 거리 우리는 관리를 제공하고 있습니다 해당 상자의 서비스 모든 로그 콜렉션 전체 건축 문의 다시 열정적 인 검색 기능을 제공합니다 그리고 나서 우리는 CABANA를 위에 올려 놓았습니다

그래서 당신은 로그 분석을 할 수 있습니다 이전에 데이터 모니터링하기 INFLUX DB 그리고 우리는 가지고있다 대시 보드는 여기에서 볼 수 있습니다 너를 감시 할 수있게 해줘 모든 성과 클러스터를 통해

지금 당장 보자 귀하의 모든 데이터를 분석하십시오 IT가 모두를 분석 할 때 귀하의 데이터, 우리가 제공하는 것 완벽한 인공 지능 플랫폼입니다 당신을 사로 잡는 모든것 스파크 스트리밍을 통한 데이터, 예를 들어, HDFS 내부에 데이터 저장 또는 SQL 마스터 서비스 또는 데이터 풀, 그런 다음 갈 수 있습니다 데이터 준비 작업 수행 스파크를 사용하여 작업하고, 기계를 사용하십시오

SPARK ML을 사용하여 학습하거나 SQL – SQL 서버 내부 프리젠 테이션 기능 사용 또는 그들을 조작 할 수 있습니다 콘테이너는 당신을 도울 것입니다 우리가 만든 모델에서 만들어라 도구 키트를 가져다주세요 너의 모델 우리는 그것의 주위에 REST API를 감쌀 것이다

SWAGGER 기반 및 자동 제공 규정 너는 콘테이너 위에 위치한다 쿠 베르 네트 그것이 스 워거를 기반으로하기 때문에 REST API로 A를 자동 실행 가능 고객을위한 라이브러리 당신이 원하는 프로그래밍, 자바, C 샤프, 상관 없어 귀사의 어플리케이션 개발 업체는 모델을 쉽게 조작 할 수 있습니다 이 라이브러리를 사용하고 그 컨테이너들이 위에 솟아있다

거기에 그 (것)들을보기 위하여 노트 북 체험 AZURE DATA STUDIO에 설치 당신이 스파크를 만들 수있는 것 구원과 실행 SQL Server Big Spark 측 데이터 클러스터 내가 가지고있는 책을 갖게하려면 여기,이 노트북 경험은 완전히 새로운 것입니다 그것의 AZURE DATA STUDIO입니다 우리는 단지 알려지지 않았다

이번 주 그대로 미리보기 확장 노트북 체험은 유익하다 그 사람들에게 새로운 2 개의 SQL을 실행하는 가족 QUERIES 그 방법은 당신에게 있습니다 이 다른 세포들 그들 안에있는 코드

우리는 SQL을 만들려고한다 너무 귀여운 노트 이 코드 셀 안에,이 안에 그게 우리 편이야 이 문제를 해결하기 위해 큰 소리로 눈을 뜨다 데이터 클러스터, 그리고 실행할 수 있습니다

암호 이 사건에서 나는 무엇을하고 있는가? 이 CSV 데이터를로드 중입니다 여기에 넘쳐나는 파일 이 디렉토리 및 데이터 FRAMESHOW 당신은 존재하는 데이터를 볼 수 있습니다

여기에서 이것은 단지 일부 샘플 데이터입니다 당뇨병 검사와 같은 설정 PREDICT를 할 수있는 곳 또는 누군가가 될지 여부 그들의 생체를 기반으로하는 당뇨병 데이터 그럼 우리는보기를 만들 수 있습니다 예를 들어, 그리고 우리는 몇 가지 SQL 쿼리를 수행 할 수 있습니까? 데이터를 QUERY 이상으로 IT 사이트 HDFS의 내부

그래서 이것은 스파크 배열을 사용하고 있습니다 그래서 우리는 어떻게해야할까요? HDFS에 앉아있는 쿼리 데이터, T SEQUEL 사용 우리는 여기에서 볼 수 있습니다 결과

우리는 실제로는 볼 수 없다 나이 간의 강한 상관 관계 그리고 인슐린 수준 지금 기계 학습을 신청하자 이 문제를 해결하기 위해 여기 우리는 기능을 수행하고 있습니다

데이터를 가져 오기 위해 피스톤 사용 설정 및 기능을 사용하십시오 이러한 다양한 기능 우리는 사용 REAK 이쪽은 데이터 세트에 있습니다 여기 아래로 우리는 할 수있다 예측, 그리고 BMI면 보자

또는 신체 질량 지수는 우수합니다 그 여부와 관계없는 프리젠터 누군가는 당뇨병을 갖습니다 너는 그것을 볼 수 없다 설레임, 우리가 알고 있기 때문에 이것은 과학과 무역에 기초를두고 있습니다 이 의사에게 미국인에게 말하기 너의 체중은 확실히 높다

35 번 근처에 더 가깝습니다 그 사람보다 당뇨병이있다 31 세의 BMI 그리고 우리는 다른 사람들과 달리 할 수 ​​있습니다 예측

우리는 할 수있다 당분 수의 임신 수 사람은 좋은 사람이었습니다 당뇨병의 지시자 또는 아닙니다 너는 그것을 볼 수 없다 순전히 숫자 때문에 너무 가까이에있어, 그건 아니야

좋은 소식통입니다 순전히, 그렇지? 이것이 우리가 기계를 사용할 수있는 방법입니다 스파크 바이의 학습 노트북 경험 사용하기 AZURE DATA 내부에 여기에 사진관 결론적으로 요약하자면, 무엇을 우리는 여기에 건설했습니다 IS, FIRST OF 전체, 데이터 가상화 평행 한 컴퓨터를 가진 플래트 홈 그 중 QUERIES

우리는 공유 된 데이터 호수를 만들었습니다 SEQUEL을 사용하여 액세스 할 수 있습니다 또는 스파크, 그리고 우리가 만들었어요 허용되는 인공 지능 플랫폼을 모두 허용하십시오 데이터에서 모든 것을 할 수 있습니다

섭취 저장, TO 트레이닝, 모든 것을 하나로 스코어링하기 시스템, 귀하의 데이터가 절대로 필요하지 않습니다 SQL Server 2019를 크게 벗어나기 당신의 완전을 이루기위한 데이터 클러스터 인공 지능의 파이프 라인 이 주 우리는 그 SQL을 발표했다 SERVER 2019가 공공에 갔다 시사

2019 빅 데이터 클러스터 공공 미리보기에도 사용됩니다 우리는 점진적으로 굴러 가고 있습니다 그것의 부분 고객 당신이 탐구에 관심이 있다면 SQL Server 2019 큰 데이터 출력 클러스터 여기이 양식으로 이동 그리고 서명하고 우리는 ITALY ROLL IT OUT 고객 아주 많이 애용 해줘서 고마워

중지 나는 여기서 여기 온 사람들이다 모서리가 답을 얻습니다 네가 가질 수있는 모든 질문들

Introduction to the Hadoop Technology Stack

Hadoop 기술 스택의 과정에 오신 것을 환영합니다 빠른 입문서가 있습니다

이 과정의 개발자 및 관리자를위한 반경 도움말 기술 우리는 Hadoop 분산 컴퓨팅 프레임 워크의 개념을 살펴볼 것입니다 우리는 Hadoop이 어떻게 작동하는지, 어떻게 그리고 왜 그것이 다른지를 살펴볼 것입니다 전통적인 컴퓨팅 시스템에서 우리는 또한 기업이 처리 할 수있는 대중적이고 유용한 대형 데이터 도구 데이터를 하둡에서 효율적이고 효과적으로 처리 할 수 ​​있습니다 잠재 고객 및 비즈니스 전문가 개발자에게 기술적 혜택 제공 관리자 Hadoop 개발자 및 관심있는 사람 Hadoop이 무엇인지 파악하고 물론 하둡 상용 배포판을 살펴보고 다양한 도구와 Hadoop 시스템을 시작하는 방법을 알려드립니다 빅 데이터 여행을 시작하기에 유용한 비디오 시리즈를 찾아보십시오

수업 내용 전체를 빠르게 살펴보십시오 그래서 여기 제트기는 다음 시리즈에서 기대할 수있는 것의 빠른 스냅 샷입니다 동영상을 보려면 Hadoop을 빠르게 살펴보고 배급의 다양한 머리 어떻게 그들이 가지고있는 나이로 빠르게 깊은 잠수 우리는 전통 건축물에서 모피를 ​​가져 와서 우리가 Hat HDFS 아키텍처 즉, 이름 노드 데이터 노드 보조 노드와 다양한 다른 구성 요소 분산 된 시스템에서의 병렬 교차 (crossing) 다양한 플러그인과 어떻게 원사가 플러그인을 설치하면 MapReduce에 대한 간략한 개요를 볼 수 있으며 MapReduce 애플리케이션을 다른 언어로 작성하는 방법을 살펴보고 우리는 Hadoop으로 데이터를 가져 오는 방법을 살펴볼 것입니다 물을 이해하는 방법을 이해해야합니다 이 다음에 신속하게 들어갈 것입니다 또는 다양한 도구를 특종 flume uz HBase 및 기타 다양한 데이터 가져 오기 도구 우리는 또한 유형에 들어갈 것입니다 아키텍처 하이브 인터페이스 카탈로그 등 우리는 아파치 스톰 스파크 Guzzi보세요 그리고 신속하게 보안 mahout과 좋은 clunk 결론 머리를보고 여기서 어디로 가야 해? 시작하자

Big Data Infrastructure in the Cloud with Liftigniter – Stack Chat

MARK MIRCHANDANI : 찾고있는 회사 예측을하려면 방대한 양의 데이터가 필요하며, 복잡한 계산 및 신속한 대응 우리가 LiftIgniter와 이야기 할 때 우리와 함께하십시오

그들이 기계 학습 플랫폼을 어떻게 구축했는지에 관해 Stack Chat의이 에피소드 우리와 함께 해줘서 고마워 LiftIgniter에 대해 조금 더 알려주세요 플랫폼 구축 방법에 대해 설명합니다 VENKAT VENKATARAMAN : 나를 보내 주셔서 감사합니다

LiftIgniter는 실시간 개인화 플랫폼입니다 클라우드에서 실행되는 기계 학습 모델에 의해 구동됩니다 실시간으로 엔드 투 엔드 대기 시간을 의미합니다 약 100 내지 150 밀리 세컨드의 오더로 구성된다 여기에는 네트워크 대기 시간도 포함됩니다

자, 이건 모두 측면에서 진정한 도전입니다 규모와 계산이 사용자가 여러 신호를 추적 가장 관련성 높은 정보를 제공하기 위해 맞춤 추천 우리의 세계관은 각 사람이 독특하다는 것입니다 그리고 매 순간 우리 플랫폼 가장 관련성이 높은 결과에 최적화되어 있습니다 그 때까지 수집 한 모든 신호를 기반으로합니다 MARK MIRCHANDANI : 아키텍처를 보여줄 수 있습니까? 이걸 계속 지키려고 만든거야? VENKAT VENKATARAMAN : 물론입니다

위기에 처한 ML 회사로서 엄청난 양의 데이터, 인프라 비용 우리 사업에 큰 영향을 미칩니다 우리는 세 가지 주요 요소에 집중했습니다 가격, 대기 시간 및 안정성, 다른 사람들과 마찬가지로 이를 강조하기 위해 세 가지 주요 기술을 사용했습니다 워크로드를 기반으로하는 자동 크기 조정 기능을 사용하면 우리는 수평 확장 할 수있는 유연성을 가지고 있습니다

수요가 많은 워크로드 그리고 우리는 자동 스케일 그룹의 조합을 사용합니다 선매 용 인스턴스와 주문형 인스턴스에 대해 우리를 두 번째 요점으로 인도합니다 이는 유연성입니다 우리가 선제 사례를 다음과 같이 사용할 수 있도록 필요하며, 셋째, 이동 옵션 부실하지만 유용한 데이터를 저온 저장 장치에 다시 넣으십시오

비용 절감 속도면에서 보통 네트워크 대기 시간 는 거대한 부분을 가지고있다 그러나 구글의 네트워크는 꽤 활발했다 우리의 경험에서 우리는 많은 구성 요소를 유지할 수있었습니다

충분한 중복성으로 동일한 지역 내에서 가까이에 있습니다 Google의 Footprint를 통해 우리는 서비스를 생성하고 실행할 수 있습니다 모든 고객 대면 서비스 정말 잘 수행하십시오 그리고 우리는 또한 피할 수있었습니다 Google Cloud 덕분에 SLA에 영향을 줄 수있는 모든 중단

MARK MIRCHANDANI : 조금 더 말씀해 주시겠습니까? 추천 시스템이 실제로 구축 된 방법에 대해? VENKAT VENKATARAMAN : 물론입니다 다이어그램은 실제로 단순화 된 아키텍처입니다 도표 우리는로드 밸런서와 프록시를 보여주지 않습니다 그런 것들

그러나 주요 구성 요소와 서비스에만 초점을 맞추고 있습니다 우리가 우리 건축물에 가지고있는 클라우드에 대한 요청은 프런트 엔드 API를 사용하거나 우리는 모델 서버라고 부릅니다 모델 서버는 사용자와 관련이있는 모든 것 활동 및 돌아 오는 추천 결과, 그것이 모델 서버에 의해 처리됩니다 모든 마술이 일어난다 다른 모든 것, 예를 들어, 새 인벤토리 항목 업데이트 또는 생성, 또는 다른 API 호출을 실제로 만들 것입니다

프론트 엔드 서비스를 공격했습니다 이제 프런트 엔드 서비스를 살펴보면 API 전화가오고, 처리가 계속된다 프런트 엔드 컴퓨터에서 발생합니다 그리고 프론트 엔드 서비스는 데이터를 푸시합니다 데이터 저장소에 저장합니다

우리는 파일이나 다른 데이터를 생성합니다 Google Cloud Storage와 같은 일부 데이터 저장소에 저장합니다 또한 다른 데이터 저장소도 있습니다 그리고 GCS는 실제로 이벤트를 트리거합니다 우리가 듣고있는 많은 구독자가있는 Cloud Pub / Sub 그 주제에 관한 메시지

구독자는이를 픽업하고 추가 처리를 수행하며, 도면에 도시 된 예 우리가 재고 시스템을 가지고있는 곳입니다 추가 분석 및 처리를 기반으로합니다 방아쇠가 무엇인지 모델 서버는 전에 말했던 것처럼, 모든 권장 사항과 사용자를 처리하는 활동 추적 그들은 사내에서 많은 처리를합니다

많은 마술이 여기에서 발생합니다 많은 무거운 짐들이 발생합니다 이리– 데이터를 다시 한번 데이터 저장 장치에 저장한다 유사한 메커니즘이 발생하여 이벤트를 트리거합니다 Cloud Pub / Sub로 이동합니다

우리는 청취자가 있습니다 GCS에서 데이터를 선택하는 주제에 대해 추가 처리를 수행하십시오 그리고 다이어그램에 표시된 것처럼이 데이터 이제 BigQuery에 실시간으로 푸시됩니다 여기서 대시 보드는 분석을 위해 BigQuery에서 제공됩니다 여기서 핵심은 우리가 물건을 움직일 수있는 동안이다

빅 쿼리는 실시간으로 BigQuery에 조금 비싸기 때문에 BigQuery에 대한 액세스를 유지하고 싶습니다 우리가 정말로 필요할 때만 그래서 우리는 데이터를 끄는 오프라인 처리가 있습니다 BigQuery의 추가 집계, 이를 캐싱 레이어처럼 작동하는 Cloud SQL로 푸시합니다 따라서 대시 보드는 Cloud SQL의 BigQuery 그들이 얼마나 시간을 거슬러 올라가 느냐에 달려있다

가서 데이터를 수집하고 싶습니다 하단의 상자에는 Spark 클러스터가 표시됩니다 Cloud Dataproc에서 벗어납니다 스파크 클러스터는 기본적으로 모델 튜닝 및 재교육에 사용 더 나은 정확성을 위해 우리는 야간에 실행합니다

우리는 GCS에서 모든 데이터를 수집합니다 우리는 모델을 다시 돌아 다니고 있습니다 그리고 튜닝 파라미터가있는 모델의 결과 전에 있었던 것보다 낫다 우리는 필요한 변경을하고 그 구성을 밀어 낸다 클라우드로 MARK MIRCHANDANI : 자, 이제 한참 지났어

이것을 원래 설계했다 돌아가서 다시 할 수 있다면, 너는 무엇을 다르게 할 것인가? VENKAT VENKATARAMAN : 플랫폼을 설계하기 시작했습니다 기계 학습이 여전히 뜨겁지 않았던 2013 년, 2014 년 빅 데이터는 여전히 그 당시의 일이었습니다 오늘날과 마찬가지로 어렵거나 널리 이용 가능하지 않았습니다

사용 가능한 모든 라이브러리 및 프레임 워크가 있다면 오늘 그때, 그 다음에 빌드 대 구매 결정은 달라졌을 것입니다 우리는 또한 보강 된 지능을 가능하게했습니다 사용자에게 권장 사항에 영향을 줄 수 있습니다 때로는 규칙을 구현할 수도 있습니다 너무 제한적 일 수있는 결국 결과가 줄어 듭니다

이러한 사용자에 대한 사용자 정의를 가능하게하려면, 우리는 색인 생성 솔루션을 연구했습니다 더 나은 결과를 제공합니다 이 중 일부가 뭔가 조사 중이 었어 Elasticsearch와 같이 좋았습니다 하지만 우리만큼 빨리 수행하지 못했습니다

정말 까다로운 대기 시간 요구 사항 때문에 필요합니다 현재 다른 방법을 찾고 있습니다 이를 구축하고 지속적으로 권고 사항을 개선하는 것이 중요합니다 MARK MIRCHANDANI : 세부 사항을 공유해 주셔서 감사합니다 VENKAT VENKATARAMAN : 나의 기쁨

MIRCHANDANI (MARK MIRCHANDANI) : 설정을 시도하려면 Google Cloud Storage에 대한 Pub / Sub 알림, 아래 설명에서 둘러보기를 확인하십시오 시청 해 주셔서 감사 드리며 구독을 꼭하십시오 더 우수한 Google Cloud Platform 콘텐츠를 제공합니다 다음에 스택 채팅에서 보자