Apache Kafka Tutorial | What is Apache Kafka? | Kafka Tutorial for Beginners | Edureka

안녕하세요 여러분! Edureka의 Subham입니다 오늘 세션의 주제는 카프카 자습서입니다

따라서 아무런 지체없이 오늘 세션의 의제를 살펴 봅시다 이해하는 것이 중요하다고 생각합니다 기술의 필요성 이제 메시징 시스템의 필요성부터 시작하겠습니다 그런 다음 Apache Kafka와 그 기능을 이해할 것입니다 Kafka 튜토리얼을 더욱 발전시켜 우리가 다른 것에 대해 배울 것입니다

Apache Kafka의 구성 요소와 아키텍처 마침내 우리는 Apache Kafka를 설치하고 배포 할 것입니다 단일 노드 단일 브로커 클러스터

Kafka Streams Tutorial – Emergence Of Big data

Kafka Streams 코스에 오신 것을 환영합니다 이 첫 번째 강연에서는 빠른 소개를 드리겠습니다

우리가 큰 데이터에서 시작한 곳과 어디로 갈 것인가? 권리? 의 시작하자 검색 엔진은 일상 생활에서 필수품이되었습니다 그러나 1993 년까지, World Wide Web은 손으로 색인을 생성했습니다 믿을 수 있니? Tim Berners-Lee 경 그 목록을 손으로 편집하고 CERN 웹 서버에서 호스팅하십시오 검색 엔진이 없습니다

나중에 야후는 사람들이 웹 페이지를 찾을 수있는 가장 인기있는 방법으로 떠올랐다 인터넷 그러나 전체 텍스트 색인 및 검색보다는 웹 디렉토리를 기반으로했습니다 엔진 알고리즘 몇 년 사이에 많은 개발이 이루어졌지만 1 년 내내 2000 년 Google은 PageRank 알고리즘에 대한 혁신적인 아이디어로 주목을 받았습니다

초기 PageRank 알고리즘은 두 가지 중요한 아이디어를 기반으로했습니다 특정 웹 페이지에 링크 된 웹 사이트의 수 또는 외부 웹 사이트의 수를 말할 수 있습니다 웹 사이트를 가리키는 링크 두 번째 아이디어는 다음에서 발견 된 키워드입니다 웹 페이지

우리는 PageRank의 세부 사항에 들어 가지 않을 것입니다 연산 그러나 Google은이 페이지 순위 알고리즘을 구현했습니다 대규모로 구현에 대한 중요한 요구 사항 중 하나 PageRank 알고리즘은 World Wide에서 대량의 데이터를 크롤링하고 수집하는 것이 었습니다 편물 이것은 Bigdata의 탄생에 기여할 시간과 필요였습니다

그게 어떻게 시작 됐어 Google은 처음으로 Bigdata 문제,하지만 또한 가능한 솔루션을 개발하고 상업적으로 처음으로 설립 Bigdata 처리 기술을 사용한 성공적인 비즈니스 높은 수준에서 Google 검색 엔진은 해결해야 할 네 가지 주요 문제가있었습니다 인터넷을 통해 웹 페이지를 검색하고 크롤링하고 콘텐츠 및 메타 데이터를 캡처합니다 이 첫 번째 문제는 쉽게 해결할 수있었습니다

필요한 모든 것은 간단한 프로그램이었습니다 웹 페이지의 컨텐츠를 검색하여이를 스토리지 시스템에 저장합니다 그러한 프로그램은 현재 널리 알려진 웹 크롤러입니다 그러나이 요구 사항은 두 번째 문제 엄청난 양의 데이터를 저장할 위치 웹 크롤러가 수집합니다

스토리지가 문제의 끝이 아니 었습니다 그들 또한 해당 데이터를 처리하고 PageRank 알고리즘을 적용하려고했습니다 그리고 그것은 세 번째 문제 마지막으로, 그들은 또한 에 의해 고속 쿼리를 지원할 수있는 임의 액세스 데이터베이스에서 PageRank의 결과 Google 검색 엔진 응용 프로그램 이러한 문제는 새로운 것이 아니며 일반적으로, 그들은 2000 년 전에도 구글이 새로운 혁신적인 접근법

업계는 이미 생성, 수집, 처리 중이었습니다 및 데이터 액세스 Oracle 및 MS SQL Server와 같은 데이터베이스 관리 시스템은 이러한 응용 프로그램의 중간 당시 일부 조직은 이미 테라 데이타 (Teradata)와 같은 시스템을 사용하는 테라 바이트의 데이터 볼륨 그러나 Google 해결하기 위해 노력한 것은 세 가지 고유 한 속성이 결합되어 훨씬 더 어려웠습니다

시간의 DBMS를 사용하여 해결할 수 있습니다 볼륨, 버라이어티 및 속도 웹 크롤러를 만드는 것은 Google에게는 큰 문제가 아니 었습니다 그것은 간단한 프로그램이었습니다 페이지 URL을 검색하여 페이지 내용을 검색하고이를 스토리지 시스템에 저장합니다

하지만 이 프로세스에서 주요 문제점은 크롤러가 수집하는 데이터의 양이었습니다 인터넷 크롤러는 인터넷을 통해 모든 웹 페이지를 읽고 그 사본을 저장해야했습니다 스토리지 시스템의 페이지 Google은 대규모 볼륨을 처리 할 것이라는 것을 알고있었습니다 당시에는 DBMS가 없었기 때문에 해당 수량을 저장하고 관리 할 수있었습니다 웹 페이지의 내용에는 구조가 없었습니다

그 (것)들을 a로 개조하는 것이 가능하지 않았다 행 – 열 형식으로 저장 및 처리하지 않습니다 Google은 시스템이 필요하다는 것을 알고있었습니다 다양한 형식으로 제공 될 수있는 원시 데이터 파일을 처리 할 수 ​​있습니다 시간의 DBMS 원시 데이터를 처리 할 중요한 지원이 없었습니다

벨로 시티는 모든 사운드 시스템의 가장 중요하고 필수적인 특성 중 하나입니다 Google 데이터를 신속하게 수집하고 처리하며 더 빠른 속도로 사용해야했습니다 속도 Google 검색 엔진은 검색 엔진 비즈니스를 시작한 이래 USP였습니다 거래를해야하는 Bigdata 애플리케이션의 새로운 시대를 이끌고있는 속도입니다 데이터를 실시간으로 확인할 수 있습니다

경우에 따라 데이터 포인트가 시간에 민감합니다 환자의 바이탈처럼 이러한 데이터 요소의 저장 수명은 제한적입니다 경우에 따라 시간이 지나면 쓸모 없게 될 수 있습니다 우리는 속도로 되돌아 올 것이다

속도가 실시간의 원동력이기 때문에 다음 강의에서 다시 한번 시스템 -이 과목의 주요 과목 Google은 위의 모든 문제를 성공적으로 해결했습니다 그리고 그들은 시리즈의 세계의 나머지에 그들의 해결책을 밝힐만큼 충분히 기질이 좋았다 3 개의 백서로 구성됩니다 이 세 가지 백서에서는 Google의 해결 방법에 대해 이야기했습니다 데이터 저장, 데이터 처리, 데이터 검색 등을 포함한다

이 세 가지 백서는 모두 높이 평가되었습니다 오픈 소스 커뮤니티에 의해 디자인과 개발을위한 기반을 형성했습니다 Hadoop이라고 불리는 유사한 오픈 소스 구현물의 일부이다 Hadoop과 다른 모든 유사한 솔루션은 일반적인 처리 문제를 해결하려고했습니다 이전에 분산 저장 장치에 저장된 많은 양의 데이터

이 접근법 일반적으로 일괄 처리라고합니다 일괄 처리 방법에서 데이터는 수집되어 분산 시스템에 저장됩니다 그런 다음 배치 작업을 사용하여 데이터를 읽습니다 분산 된 클러스터를 이용하여이를 처리 할 수있다 이전에 저장된 데이터를 처리하는 동안 새 데이터는 계속 스토리지에 도착합니다

그런 다음 다음 배치를 수행하고 결과와 결과를 결합해야합니다 이전 배치의 이 프로세스는 일련의 배치로 진행됩니다 일괄 처리 방법에서 결과는 특정 시간 이후에 사용할 수 있습니다 일괄 처리의 빈도와 일괄 처리가 처리를 완료하는 데 걸리는 시간 이러한 데이터 처리 배치에서 파생 된 통찰력은 가치가 있습니다 그러나 그러한 모든 통찰력 평등하지 않습니다

일부 통찰력은 데이터가 처음 나타난 직후 훨씬 더 높은 가치를 가질 수 있습니다 그 값은 그 시간과 함께 매우 빠르게 감소합니다 대부분의 경우 데이터 포인트는 시간에 민감하므로 대처해야합니다 분, 초 또는 밀리 초 단위로 표시됩니다 예를 들어, 사기 탐지 시스템은 많이 있습니다

트랜잭션이 완료되기 전에 사기 거래를 식별 할 수 있다면 더 가치가 있습니다 유사하게, 의료 ICU 또는 외과 수술 설정에서, 다양한 모니터들로부터의 데이터 간호사 및 의사에게 실시간으로 경보를 생성하여 즉시 알 수 있습니다 환자의 상태 변화 일반적인 사용 사례에 대해 논의합니다 향후 강의에서 이러한 요구 사항에 대한 데이터 소스를 제공합니다

그러나 필수적이다 시간에 민감한 데이터를 처리하는 속도에 대한 요구가 지속적으로 Bigdata 프로세싱 솔루션의 한계를 뛰어 넘습니다 이러한 요구 사항은 많은 사람들의 원천입니다 Kafka Streams, Spark 스트리밍, Apache Storm, Apache와 같은 혁신적이고 새로운 프레임 워크 Flink, Apache Samza 및 Google Cloud Dataflow 및 Amazon Kinesis와 같은 클라우드 서비스 이러한 새로운 솔루션은 실시간 데이터 처리 요구 사항을 충족시키기 위해 발전하고 있습니다

큰! 그래서,이 강연에서 빅 데이터에 대해 이야기했습니다 문제와 그것이 시작된 방법 우리는 또한 Google이 발표 한 세 개의 백서에 대해서도 이야기했습니다 이로 인해 큰 데이터 이동이 시작되어 Hadoop이 개발되었습니다 하둡이 움츠려 들었다

조직과 전문가들 사이에서 엄청난 관심과 인기를 얻었습니다 그러나 하둡 배치 처리 접근 방법을 채택했으며 이에 대해 간단히 이야기했습니다 그러나 기대 시간이 많이 걸리는 데이터를 신속하게 처리 할 필요가 있습니다 다음에 강의, 솔루션 구축에 대한 생각을 어떻게 시작할 수 있는지에 대해 자세히 설명합니다 실시간 데이터 처리 기대치를 충족시킬 수 있습니다

책을 읽는 것을 선호한다면,이 훈련 내 책을 기반으로합니다 모든 주요 온라인 소매점에서 종이 표지 책 또는 전자 서적을 얻을 수 있습니다 다음 강의에서 만나요 계속 배우고 성장하십시오

Oracle Big Data SQL: 4 – Query a Kafka Stream of Data

이 비디오에서 우리는 Big을 사용할 것입니다 카프카 스트림에 액세스하기위한 SQL 데이터 NYC Citi Bikes에서의 현재 자전거 활동 실시간으로 수행하기 위해 분석

카프카 스트림을 사용하면 에서 생성되는 데이터보기 실시간 이 실시간 데이터에 액세스하려면 Big Data SQL을 사용하여 카프카를 지원하는 몇 가지 개체 그러나 먼저 카프카 제작자를 만들어 자전거 활동을위한 이벤트를 생성합니다 에서 이 경우 우리는 어떤 자전거가 있는지보고 싶습니다 다양한 곳에서오고가는 방송국 및 이러한 이벤트가 발생할 때 그런 다음 카프카 소비자를 만들겠습니다

이벤트를 미리 볼 수 있습니다 우리는 start-kafka-producer라는 셸 스크립트 이 스크립트는 제작자를 생성하고 제작자는 카프카 주제를 발표합니다 bike_trip_stream 생산자는 단순히 작성된 이벤트를 생성합니다

이 카프카 주제 출력을 얻으려면 카프카 스트림의 소비자를 만듭니다 Kafka 화면 출력이 JSON에 있습니다 체재 그래서 자전거를 주워 올 때마다 또는 떨어져 나가고, 이벤트가 생성되며, 이벤트 출력은 다음과 같이 기록됩니다

우리는 JSON 문서를 카프카 주제 소비자를 그만 두자 우리는 방금 만들었습니다 다음으로 몇 개의 Big Data SQL 오브젝트 이 카프카 스트림에 대한 액세스를 가능하게합니다 이제 우리는 일하는 카프카 생산자, 우리는 먼저 하이브 테이블을 만든다

Kafka 스트림을 통해 코드에서, 오라클은 Kafka 드라이버를 제공합니다 SERDE 옵션 – 및 저장소 처리기 Hadoop의 카프카 스트림 용 – STORED BY 옵션 이제이 저장 공간 처리기는 오라클이 카프카를 질의 할 수있게 해줌 하이브를 통해 흐른다 그래서이 CREATE EXTERNAL TABLE으로 하이브 메타 데이터를 생성한다

카프카 스트림 위에있는 테이블 그럼 우리는 카프카 주제를 생산자가 TBLPROPERTIES 절 이제 카프카 위에 하이브 메타 데이터 테이블이 생겼습니다 스트림, 우리는 단순히 큰 데이터를 만듭니다 SQL 테이블, 외부 테이블, 하이브 테이블 이 문장은 같은 것을 사용한다

두 번째에 표시된 ORACLE_HIVE 드라이버 이 시리즈의 비디오 그래서 이것은 카프카를 만드는 외부 테이블 오라클이 사용할 수있는 스트림 활동 Big Data SQL을 가능하게하는 데이터베이스 카프카 시내에 직접 문의하십시오 지금이 테이블은 다른 사람이 사용할 수도 있습니다 프로세스는 빅 데이터 SQL에 추가됩니다 이제 오라클 데이터베이스 JSON 파싱 사용하기 우리는 카프카 스트림을 사용하여 쿼리합니다

Oracle Big Data SQL 원본 테이블 원래 있던 빅 데이터 외부 테이블입니다 Oracle Hive 테이블을 통해 생성됩니다 그만큼 검색어 결과에 자전거 인벤토리가 표시됩니다 동안 다른 역의 패턴 하루, 카프카 시내에서 똑바로

시작 시간, 정지 시간 및 지속 시간 자전거 타기는 쿼리 당 JSON 문서 그리고 당신은 배웠습니다 빅 데이터에 가입 할 수 있습니다 귀하의 빅 데이터 SQL에 오라클 데이터 검색어 여기 카프카 스트림 오라클의 스테이션 테이블과 데이터 쿼리 결과는 다음과 같이 표시됩니다

누적 막대 그래프 우리에게는 훨씬 더 많은 것이있다 그 로브에서 끝나는 자전거 스트리트 역에서 유래 한 것보다 같은 역 그래서 잉여가 있습니다 자전거 길 끝에있는 그 로브 스트리트 (Grove Street)의 자전거 일

그래서 여기에 차원을 결합했습니다 실시간으로 Oracle 데이터베이스의 데이터 카프카 (kafka) 스트림의 데이터 도움이되는 분석 자세히 알아보기 cloudoraclecom/bigdata

Streaming Big Data in Azure with Kafka and Event Hubs

>> 안녕하세요 여기 와줘서 고마워

방을 제대로 지키고 있음을 알기에 이것은 세션입니다 그것은 여기에서 일어나고 있습니다 내 이름은 dan rosanova 야 하늘색 메시징 서비스를위한 프로그램 관리 책임자 및 오늘은 큰 스트리밍에 대해 이야기하고 있습니다 카프카 (kafka)와 이벤트 허브가있는 푸른 하늘의 데이터와 우리가 걷기 전의 데이터 끄기, 방안에 누가 손을 사용하고 있는지 그리고 누가 손을 빠르게 보여 주는지 그것이 무엇인지 압니까? 누가 카프카를 사용하고 있습니까? 큰

>> 네가 원하는지 모르겠다 하나 우리는 볼 것이다 >> 우리가 시작하자마자, 내가 정말로 시작하고 싶은 곳 이것으로 큰 데이터와 스트리밍에 대해 이야기하고 있습니다 큰 데이터의 크기와 모양에 대한 구체적인 생각 오늘 세계에서 무슨 일이 일어나고 있는지, 나는 시작하겠다

이것은 바로 이것과 400 만 시간의 내용이 될 것입니다 매일 YouTube와 38 억 인터넷 사용자에게 인류의 절반 이상과 52 억 개의 Google 검색 그리고 14 억 사용자의 페이스 북, 나는 그들 중 하나가 아니야 dan rosanova가 있고 그것은 600 억 기가 바이트가 아닙니다 전 세계적으로 작성된 데이터 중 숫자가 얼마나 큰지 생각해보십시오 600 억 기가 바이트와 2 천 9 백 9 십억 개의 전자 메일, 즉 2017 년의 숫자와 나는 스팸이 얼마나되는지 잘 모르겠습니다

나는 그 중 대부분과 220 억 개의 문자 메시지를 추측 할 것입니다 우리가 꽤 만족하고있는 번호는 1 조 8 천억 개의 요청입니다 푸른 하늘 이벤트 허브 및 일일 가동률에 관한 날짜 우리가 약 4 년 동안 운영해온 서비스 빅 데이터에 대한 흥미로운 점은이 모든 데이터와 우리가 만들고있는 세계에서 귀하가 할 수있는 정보 사실 그걸로 무엇이든하면 데이터를 캡처해야합니다 어딘가에 착륙시켜야하며 새로운 도전은 아닙니다

우리가 역사를 통해 한 일 계산은 토지 데이터, etl입니다 어떤 점에서 누가 etl을 했는가? 경력에서? 내가 모든 손을 보지 않으면 나는 놀랄 것이다 데이터를 수정하려고 시도하고 유용한 데이터를 자체적으로 만들지는 않습니다 정보,별로 유용하지 그래서 우리는 사람들이 이것을하는 방식을 본다

그리고 역사적으로 이는 일괄 처리를 통해 이루어졌습니다 그래서 이것은 모든 종류의 길입니다 기술면에서 자라 났던 것 같습니다 배치 파일 및 배치 파일에서 수집 된 데이터는 as400과 같은 종류의 etl에 의해 처리됩니다 유형 etl 또는 그것이 더 새로운 것이 었는지 여부 그리고 여전히 etl

누구 에게라도 놀랄거야 방에서 일종의 etl 배치 기반을 보지 못했습니다 경력을 쌓고 이익과 역사를 가질 수 있습니다 그리고 어디에서나 느리고 수 있습니다 문제가 있고 나는 오랜 시간을 실시간으로 보냈다

Microsoft와 거래를하기 전에 메시지 보내기 산업과 때마다 나는 내가 실망했다는 것을 알았다 오랫동안 그것을 싸우고 실현하고 당신이 될 수있는대로 천천히 그리고 배치 처리가 어디서나 볼 수있는 것처럼 번거롭고 세상과 내 마지막 지불 수표 사실과 조건에 와서 사망 진단서는 배치로 처리되며 아마 as400에 있지만 그건 그냥 삶이고 나는 그걸로 괜찮습니다 그리고 거기에 현재 일괄 처리 물건을 많이하지 않습니다 필수적으로 변화하고 성장하고있는 일을하는 또 다른 방법 일괄 처리보다 빠르며 실시간 처리 및 이것이 바로 이것입니다 – 이것이 연설의 초점입니다 실시간으로 우리와 함께 흥미로운 것을 가져옵니다 실제로는 세트가 아닌 개별 데이터를 실제로 처리하기 때문에 데이터와 세트 중 중요한 개별 요소가 될 수 있습니다

데이터 또는 개별 거래는 일반적으로 모델을 만들려고 노력하고 있으며 우리가 처리하려고 시도하고 있습니다 뭔가를 사는 사람이라면 구매 주문과 같은 것입니다 Irea 만 신경 쓰고 – 정말로 내 구매에 신경 써라 질서에 대해 신경 쓰지 마라 내가 개발자라면 일괄 처리 및 결제 방법에 대한 사고 방식과 우리가 가지고있는 도구가 세 가지 또는 40 년 동안 우리는 그러한 방식과 비즈니스를 생각할 수 있다고 가르쳤습니다

프로세스는 개별 트랜스 색소폰에 더 중점을 두는 경향이 있습니다 성능면에서 훨씬 더 빨라지고 일괄 처리 작업이 완료되었으며이를 통해 어떻게 신속하게 처리 할 수 ​​있습니까? 실시간 및 이것이 실제로 나오는 즐겨 찾기 중 하나입니다 거래 산업, selectmen 프로세스 및 쫓겨에서 단일 일괄 처리 및 일괄 처리를 만들고 무언가를하십시오 그들과 배치 문제에 대한 답변은 다른 경향이있다 배치는 보통 좋은 대답이 아닙니다

왜 이것이 중요한지, 성장하는 이유에 대한 진정한 요점 전통보다 비슷하게 etl 및 배치 기반 처리가 더 빠릅니다 내가 경제 이론과 시간 가치에서 훔치는 아이디어 데이터의 종류, 돈의 시간 가치와 같은 종류 및 만약 당신이 돈 당신은 금리에 대해 투자하고 생각할 수 있습니다 미안합니다 재무 배경, 어떤 돈이 실제로 가치가 있는지 아는 것 너는 그걸로 할 수있어 데이터는 같은 종류입니다

역사적인 경향에 대한 데이터를 매우 유용하게 사용하고 빌드합니다 사물과 데이터에 대한 모든 모델은 실제로 극도로 화재 경보가 울리면 유용합니다 지금 당장 데이터가 유용하고 1 시간 정도면 유용하지는 않을 것입니다 지금부터 우리집에 불이났다면 빨리 알고 싶습니다

아무도 그것에 대해 모른다면 문제의 종류 흥미로운 것은 데이터입니다 시간이 지남에 따라 가치를 잃을 것입니다 시간이 지남에 따라 가치를 되찾고 더 많은 것을 얻으십시오 개별 데이터 포인트 값이 더 많아 져서 더 많아집니다

귀중한 시간과 많은 시간을 할애하여 두 가지가 합쳐 지므로 역사적인 장기 데이터가 모델을 만들어야하고, 우리가 오늘날 기계 정보를 통해 세계를 이해하고 실시간 데이터 소스를 채점하고 실행할 수 있으므로 이상 현상이 정말로 이상인지, 어떻게하는지 알 수 있습니다 신용 카드 사기 탐지와 같은 것들이 있습니다 전 세계의 많은 이상한 것들이 발사되지 않습니다 내 구매 습관이있는 경향이 있기 때문에 항상 꺼져 있습니다 다른 사람들과 다르다

이것은 왜 일종의 이유입니다 왜 당신은 실시간에 관심이 있습니다 이제 조금 이야기합시다 방법에 대해서 이것은 일반적인 데이터 파이프 라인입니다

etl 및 배치를 수행하거나 실시간으로 수행하는 경우 이는 사실입니다 그리고 개념적으로 그렇게 다르지는 않습니다 데이터가 어딘가에서오고, 어떤 종류의 제작자와 일반적으로 사실 관심 데이터를 생성하고 iot 공간에서 장치 및 기계 당신은 수집하고 스테이지는 어딘가에서 스테이징은 내가 이야기 할 것입니다 둘째, etl 사람들이 스테이징을 좋아하고 데이터를 기록해야합니다

정당한 처리를 할 수있는 중앙 저장소로 다음 단계와 결국 당신은 좋은 일종의 그것을 넣어 것입니다 장기간 저장 및 종료 프레젠테이션 및 조치를위한 장소 정말로 우리 고객, 어떤 사람들이 좋아하는지 총체적으로 우리 모두는 고객 인 경향이 있습니다 사업 사람들, 신경 쓰지 마, 이것에 관해서는 신경 써라 데이터가 어디에서오고 어디에서 이해하려고하는지 그리고 데이터에 대한 통찰력을 얻으시겠습니까? 이것의 나머지는 소시지 내부에 만들어져있어 방 밖에있는 사람이 신경 쓰지 않아 그것이 깨지지 않는 한 그것이 어떻게 작동하는지보세요

전통적인 etl 오늘 물건과 당신이 보는 것은 준비입니다 나 춤추고있는 것들은 etl에 꽤 핵심이야 파일로 볼 수 있으므로 사람들은 많은 파일을 사용합니다 파일에 이점이있는 것처럼 파일을 볼 수 있습니다 작업하기가 쉽고 개발자가 자신 또는 통합 인물이 파일을 가져 와서 코드를 작성합니다 그리고 반복적 인 결과물과 사실 좋고 좋은 종류의 사실 여러 파일을 읽거나 파일을 너무 많이 읽는 것을 지원합니다

사람들은 동일한 파일을 읽을 수 있으므로 비파괴적인 독서입니다 멋지다 파일에 자연이 포함되어 있습니다 진짜 주문인지 아닌지 문제 이들은 파일의 강점입니다

또 다른 하나는 큐이고, 사람들은 큐에서 큐를 사용하고, msm 큐는 서비스 흉상, 도구 및 단서의 종류는 유리 병 그들은 약병에있는 몇 가지 문제를 해결합니다 파일은 멋진 일을 할 수 있지만, 파일의 문제점 그 파일은 단일 리소스이며 pairellize 어렵습니다 매우 큰 파일을 다루지 않는 한 단일 파일 그것과 파일 경쟁 소비자 모델과 많은 큐와 도움이되는 동일한 큐에서 당기는 소비자 트랜잭션 일관성 있고 실제로 합계 큐 지원 메시지 읽기, 어딘가에 넣기위한 트랜잭션 읽기 및 쓰기 다른 것은 데이터베이스처럼 원자에서 메시지를 완성한다 거래와 유용 할 수 있으며 데이터를 사용하고 싶지 않음 파이프 라인 사업 사람들은 매우 화가 난다

그들이 알아낼 수 있다면 단서는 재생할 수 없으므로 이 문제는 실제로는 꽤 큰 문제를 해결합니다 문제가 있으며 큐에서 메시지를 읽으면 완료 그 메시지는 사라지고 아무도 그걸 읽을 수 없으며 유용 할 때도 있지만 다른 유용한 것은 아닙니다 데이터베이스는 시원하고 중량이 많으며 확실히 있습니다 거래상의 일관성을 유지하고 그들로부터 재생하고 표시합니다

모든 것의 버전과 합의 된 문제 이 데이터베이스를 일괄 처리하면 더 많은 데이터베이스를 관리 할 수 ​​있습니다 데이터베이스와 관련된 데이터베이스 전송 문제가 있습니다 그것을위한 시간과 장소와 문제와 도전은 동점입니다 함께 모든 준비 조각과 점점 더 많은 대기 시간 길과 15 분 후에 준비 테이블에 도착하고 다른 etl 실행하고 많은 시간을 추가 알기도 전에 이벤트 허브와 같은 것을 볼 때도 마찬가지입니다 푸른 하늘에있는 카프카와 같은 유형의 파이프 라인과 사용자들 대시 보드, 코타나 같은 것들, 모바일 같은 것들에 대한 관리 장치 및 검색 및 쿼리 및 이벤트 프로듀서 시작 그리고 이것들은 응용 프로그램, 레거시 기존 응용 프로그램, 장치가 없거나 다른 것들이 많이있을 수도 있습니다

중간과 컬렉션에 이미있는 모든 조각들을 얻었습니다 이들 중 스테이징을 사용하여 클라우드에 직접 들어가고 인터넷에 연결되어 해당 및 방문 데이터를 우회합니다 완충 장치에 들어가고 날씨 같이 무언가는 이벤트 허브 또는 Coughra와 파티션 버퍼의 일부가 그것에 대해 이야기합니다 두 번째로 그것에 대한 처리와 우리가 일반적으로 보았던 것 이벤트 허브를 운영하는 4 년 동안 두 가지 경향이 있습니다 일어난 스트림 처리 유형

하나는 빠른 실시간 외설 처리 및 이례 감지 및 이것이 화재가 될 것입니다 알람, 그런 것들, 우리가 원래 설계 한 것들 이벤트 허브는 흥미 롭지만 실제로 보았습니다 느린 데이터 경로는 실제로 똑같이 인기가 있고 생각합니다 2 년 만에 우리는 80 명의 고객을 실현했습니다 실시간으로 처리하고 동일한 데이터에 대해 느린 처리를 수행하며 내가 서명 한 가장 좋은 예는 후광 게임이었습니다

프랜차이즈 후광 헤일로는 매우 성공적이었습니다 분석을 사용하여 게임 및 모든 세대를 개선하고 사람들이 게임에서하고있는 일종의 텔레 메 트리를 모으고 그것을 분석하고 실제로 게임을 더 나은 것으로 만듭니다 Ena는 시간이 지남에 따라 리터럴을 설명하고 있습니다 사람들은 언제나 매번 옳기를 원하며 실제로 그렇게됩니까? 그들은 그것에 대해 꽤 똑똑하고 실제로 사용 된 후광 5입니다

하나의 원격 측정 파이프 라인이 허브를 통해 실시간 원격 측정 및 플레이어 시합과 호스트 같은 일이 있습니까? 후광에있는 사람들을 죽일 때, 나는 몰라 넥타이 동일한 파이프 라인 및 과거의 분석과 함께 게임과 같은 것을 장기간 보관하고 프레젠테이션을 실제 사용하고 여기에서 사용할 도구 이 프로세싱 측면을 향하여 커지고 커질수록 커집니다 hdinsight와 같은 것들과 데이터 벽돌과 adls 또는 adla와 같은 도구와 많은 도구가 스파크를 발생시키고 공간에서 보입니다 진짜 빠른 사람은 단지 파티션 소비자에 대해 이야기하고 싶습니다

약간 카프카에 익숙한 사람이라면 또는 익숙하지 않은 개념의 이벤트 허브 당신은 topic이라는 가상의 구조를 가지고 있습니다 Kafka와 그 안에는 파티션이 있습니다 파티션은 실제 상점입니다

데이터 및 데이터의 자연 순서대로 안정되어 있으므로 당신이 원하는만큼 그리고 그것을 보낼 때 다시 읽을 수 있습니다 주제 또는 이벤트 허브 인 구성 요소, 제작자 정말로 보내는 것 뿐이므로 아무런 조치도 취하지 않으면 이벤트 허브 우리는 데이터를 라운드 로빈 (round-robin)하여 좋은 사용 가능성, 모든 것을 넣고로드 밸런스를 통해 정말 좋습니다 그 파티션들과 보통 그 파티션들은 기계를 분리하면됩니다 세부 사항이 아닙니다 당신은 카프카에서 그것을보고 확실히 봅니다

분할 영역에서 읽으려면 실제로 연결되는 스트림, 파티션 된 로그, 소비자, 소비자 그룹을 통한 각 파티션 및 이벤트 허브와 카프카 모두 동일한 용어를 사용합니다 소비자 그룹 및 소비자 그룹 선택 스타 뷰 생각 테이블에 넣고 아무것도 필터링하지 않고 원하는 경우 전체 스트림과 파티션을 읽으려면 4 개의 독자가 있어야합니다 각 파티션 및 연결 소비자 그룹당 하나 그 안에있는 모든 소비자와 읽고 연결합니다 오프셋을 지정하고 스트림에서 시작할 위치를 지정하십시오 읽기 및 파티션에서 읽을 위치 이벤트 허브 및 카프카 모두에서 전달 및 멋진 기능 제공 여러 소비자 그룹과 다수의 소비자 그룹을 가질 수있는 능력 소비자 그룹은 서로 다른 장소에서 독자가 다릅니다

독서와 앞으로가는 스트림이 꽤예요 강력한 기능 이것은 더 많은 것을 추가하는 능력이다 독자 여러분, 독자적으로 생태계를 성장시키고 성장시켜가는 독자 메시징 사람들에게 긴 시간을 보내고이 술집에 전화를 걸기도합니다 하위 구독 subsubscribe 그리고 난 그것을 구독 게시하지 않을 것이라고 그리고 그것은 내가 생각할 때 이론적 인 질문에 더 가깝습니다

게시 할 때 구독하고 이벤트 그립을보고 라우팅을 수행합니다 게시 및 모든 스트림을 읽는 모든 것이 그 것이다 명심 중요 또 다른 유추는 내가 좋아하는 몇 가지 당신이 보았을 지 모릅니다 나는 그것에 대해 몇 번 이야기했다

과거에는 모든 사람이 아닌 모든 사람이 생각했습니다 대부분 이것을 인식 할만큼 나이가 있어야합니다 어렸을 때 나는 이것들을 많이 가지고있었습니다 나는 아마 아직도 약간을 가지고있다 그래서 테이프는 이것은 테이프가 테이프의 어디에서나 재생할 수 있기 때문에 테이프 레코더로 레코드를 앞으로 또는 뒤로 누르고, 레코드를 누를 때 왼쪽과 오른쪽 채널을 동시에 녹음하고 두 번의 녹음이 일어나고 실제로 정보가 분리됩니다

따라서 오디오 카세트와 잘 어울리 며 연주 할 때도 마찬가지입니다 그것이 다른 점입니다 클래식 록을 듣고 들으십시오 한쪽에는 드럼이 있고 다른 한쪽에는 기타가 있습니다 실제로 오디오 엔지니어링의 이유입니다

참여한 레코드가 어느 시점에서 건너 뛰지 만 여전히 정지 상태입니다 실제로 두 개의 채널을 테이프에 보여줍니다 기술적으로 4 칸이 있습니다 그리고 스피커는 정보 및 각 측면에 대한 다양한 정보 및 이벤트 허브는이 카프카 주제와 같습니다 파티션 및 채널을 파티션이라고하며 동일합니다

유형 개념과 어떤 비유가 사람들이 더 좋아하는지, 테이프인지 또는 다른 것 누가 테이프를 좋아하니? 아무도 그 테이프를 좋아하지 않아? 그거 슬프다 나는 그것을 묻어야한다 나는 슬프다 내가 이야기하고자하는 한 가지는 신호를 내리고 무엇을 스트림이 큐와 너무 다른 이유는 무엇입니까? 이것에서 큰 문제는? 클라이언트 측의 차이점 커서 및 서버 쪽 커서

큐가 제공하는 서버 측 커서입니다 다음 메시지는 나에게 그것을 제공하고 메시지가 사라집니다 로그에서 실제로는 클라이언트 측 커서가있는 지점에서 연결합니다 Kafka와 이벤트 모두에 관심이 있고 거기에서 읽기 허브는 클라이언트 측 커서와 재생 가능한 양쪽 모두를 제공합니다 나는 이미 그것을 언급하고 새로운 소비자를 추가하여 읽었습니다

어제의 데이터가 아니라 파괴적인 이봐, 그게 내가 다음에 할 일을하고 저울질 할거야 파티션 소비자 모델의 수평 적이며 가장 중요한 것 당신이 경쟁 소비자를 사용한다면 내가 생각하기에 어제 최고의 유추 및 등록 선 또는 일요일과 마찬가지로, 그것은 경쟁하는 소비자이고 서있는 것입니다 선과 그 앞에있는 사람이 사용하고 마지막으로 사용하십시오

분할 된 소비자와 적절한 유추 실제로 파티션 모델과 중요한 파티션에서 순서 지정 다양한 이유로 첫 번째는 실제로 이 척도를 밖으로 가져오고, 수평 확장하는 방법에 대해 생각해보십시오 파티션은 실제로 원하는 독자의 수이므로 많은 수입니다 스트림을 읽을 머신, 파티션 수 당신은 일반적으로 원하는 각 기계가 파티션을 가지고 컴퓨터가 로컬에 있어야하는 모든 데이터를 원합니다

파티션을 만들고 교차 프로세스를 시작해야하는 경우 더 많은 데이터, 교차점 머신, 그것은 항상 느려질 것입니다 따라서 이벤트 허브 나 카프카 (kafka) 주제로 보내고 파티션을 사용한다면 내 이름과 같은 열쇠, 열쇠로 메시지에 태그 달기 그리고 항상 태그를 붙인 파티션에 착륙하십시오 파티션 2와 sj 데이터의 데이터는 항상 sj 파티션에있을 수 있습니다 2 개는 고정 및 코드 실행에서 처리 중입니다

얻을 프로세스 또는 컴퓨터를 통해 분기 할 필요가 없습니다 기타 데이터 그래서 큰 스케일로 갈 때 그건 정말 큰 도전이됩니다 그렇다면 오늘날 사람들은 어떻게 스트리밍합니까? 이것들은 아마도 가장 대중적인 방법의 세 가지 중 가장 세 가지 일 것입니다 인물 스트림, 카프카, 이벤트 허브 및 aws kenesis 스트림 및 우리 로고인지 모르겠다

그저 재미있는 플랫폼을 사용하도록 허용 된 경우 그것과 세 가지를 보라 실제로 나는 이벤트 허브를 Kafka는 keenesis보다 더 유사하며 실제로 설계되었습니다 스트리밍 플랫폼 및 마이크로 배치 플랫폼 및보고 지금 플랫폼에서 소프트웨어가 어떻게 호스팅되는지 살펴볼 때, Kafka는 툴 세트 및 소프트웨어로서 멋지다 오늘 당신이 kafka를 전제로 사용하고 있다면 소프트웨어를 실행할 수 있습니다 카프카는 구름이 아닌 전제로 운영됩니다

시원한 우리는 이야기 할 것이다 너는 많은 일을하고있다 그 일을 책임지고 하드웨어를 조달하고 시설 보안, 네트워크 전원 및 시각화 계층 및 작업 위와 같은 것들에 대한 책임에 대한 책임 일반적으로 운영 체제 및 응용 프로그램에 대해 생각합니다 카프카, 그것과 사용자의 구성 및 이동 인프라 서비스는 그러한 것들을 당신과 멀리하고 있습니다

물리적 데이터 센터 물건 더 이상 당신이 플랫폼에 도착 봉사로서 우리는 당신에게서 더 멀리, 그리고 당신은 집중하고있는 saas로서 데이터 자체에서 실제 애플리케이션 데이터는 인프라가 아닙니다 Real Quickie는 이벤트로 스트리밍의 빠른 데모를 보여주고 싶습니다 허브 여덟이야 그래서 나는 여기에서 실행중인 컴퓨터를 푸른 색 포털에 로그인시킨다

그리고 만약 내가 새로운 이벤트 허브를 만들고 싶다면 내가 만들 수있다 새로운 리소스, 이벤트 허브 조만간 이것은 돌아올 것이고, 속임수와 갈 수도 있습니다 기존 이벤트 하나 만들고 내가 들어올 때 여기에 나는이 공간 이름을 여기에 줘 Fdmn, 그건 DNS라고 생각해

카프카 (kafka) 클러스터와 마찬가지로 주제가 살아 있고 말 할 곳 이것은 댄의 새로운 이벤트 허브이며 내가 원하는 왜곡을 고를 수 있습니다 이것과 표준 가격으로 가서 나는 이것이 어디에 있는지 선택한다 그리고 하늘색 가입은 꽤 쉽습니다 거기서부터 실제로 나는 기존 이벤트에 갈 것입니다 지금 당장이 종류가 어떻게 생겼는지 보여주세요

이것들을 멋진 대시 보드보기에 넣으십시오 여기와 여기에있는 여러 가지 이벤트 허브가 여기에 있습니다 지금 당장 여기를 클릭하면 약간의 트래픽이 발생합니다 사물이 렌더링 될 때 여기에 더 많은 트래픽을 표시하십시오 우리가 이벤트 허브에서 수신을 보내면, 아주 간단하고 실제로 재미있는 것은 카프카가 만든 것입니다

변화가 매우 간단해서 우리는 행복합니다 이벤트 허브로 보낼 때 생산자와 소비자가 필요합니다 저는 이전 차트에서 보았습니다 실제로 그 모든 것을 읽어야합니다 파티션과 실제로 당신이 얻는 것의 절충안 속도와 능력을 스케일 아웃하고 책임을 당신이 스트림을 처리합니다

이벤트 허브 슈퍼 쉽고 이벤트 허브 클라이언트로 전송하여 사용 연결 문자열에서 생성 된 클라이언트가 100을 전송합니다 루프 및 사소한 샘플 및 Net 표준 클라이언트의 메시지 100 메시지 우리는 높은 수준의 API를 원래 이벤트 프로세서 호스트가있었습니다 이벤트 프로세서 호스트는 에이전트가 독서 책임을 맡습니다 모든 파티션과 핸들링리스에서 확실하게 확인하십시오

1Vm 만 파티션에서 읽는 중입니다 스트림을 통과 할 때 체크 포인트 이것에 대한 멋진 점은 하나를 구현하는 것입니다 Instan shatting host와 그 클래스입니다 입력 프로세서 인터페이스를 구현하고 그들이하다

그 종류에 관한 질문 희망이 아닙니다 그리고 나는 메시지를 여기에 올리면 두 개의 창이 열리고 백그라운드에서 첫 번째 이벤트는 100 개의 이벤트와 이벤트를 뿜어냅니다 프로세서 호스트가 다른 창에서 회전하고 이동합니다 그것들을 읽고 체크 포인트를 거치며 점점 더 많이 나옵니다 콜렉션과 체크 포인트 (checkpointing)

그래서 오프셋을 저장합니다 여기에 간단한 예제가있는 것처럼 파티션에있었습니다 얼마나 쉬운 일이며 얼마나 쉽게 우리가 이것을하려고 노력했는지 그리고 프로세서 호스트와 비슷한 차가운 것 높은 수준의 API 카프카를 출판하는 것이 어떤 것인지 살펴보고, sj가 지금 카프카 >> 고마워, 댄 운 좋게도 카프카는 필요 없어

dan과 같은 코드를 작성하면됩니다 데모에서 kafka를 시작하십시오 방금 시작한 이건 키퍼와 먼저 kafka 및 kafka 응용 프로그램을 시작하십시오 그래서 이것은 카프카 (kafka) 주제에서 데이터를 읽을 것입니다 주제 1과 내가 신용을 가지고 주제를 만들고 이것이 기본 동작이며 이제는 제작자가 시작됩니다

주제 1 그래서 여기에 100 개의 메시지를 보내고 하나에 온 다음 200 시간과 그것에 그리고 여기에서 볼 수있는 종류의 하나와 둘을 볼 수 있습니다 응용 프로그램과 도구를위한 도구와 라이브러리가 많이 내장되어 있습니다 도구와 그 이후 >> 그것은 카프카와 배를 통해 보내는 빠른 데모였습니다

카프카 코드베이스와 같은, 어떤 코드를 작성할 필요가 없습니다 그곳에 그리고 나는 실제로 그것에 들어갔다 그리고 정확히 똑같은 것을 샘플로 가져와 카프카와 거의 똑같은 것을 보내는 것처럼 보였습니다 그리고 속성 연결 속성 개체 및 이 제작자를 만들어서 네 번째 종류의 다섯 번째 마지막 줄과 비동기를 수행하는 네 개의 루프 그리고 코드는 정확히 같고 둘 다 비동기 적입니다

전송 및 빠른 물건이 일반적으로 작동하는 방법입니다 그래서 당신은 일종의 카프카가 될 수 있습니다 어떻게 실행합니까?하지만 코드를 통해 어떻게 인터페이스 할 것인가? 이제 카프카를 조금 달리고 거기를 따라 가세요 그리고 랩톱에서 실행중인 sj와 kafka가 랩탑 컴퓨터에서 사용중인 명령을 로컬 호스트에서 확인합니다 그리고 구내에서 카프카를 달릴 때 이들은 스탠드였습니다

카프카 클러스터와 하드웨어 풀 설정을 할 수 있습니다 그걸 훔치지 만 배포 단계가 아니라면 관리 단계 및 배포 단계 중 일부는 더 쉽습니다 다른 것보다 물리적 네트워크가 특히 어려울 수 있습니다 특히 네가하고있는 일을 모르고 들어 와서 사람들을 만나면 케이블을 자르고 패치하고 옳은 것을 원하지만 아무 것도 지불하지 말라 케이블상의 단계에주의를 기울이고 무엇을 이해하지 못하는가? 그것은 네트워크의 퍼팅을 통해 할 것이고 나는 가지고있다

그걸 보았습니다 푸른 하늘에 도착하면 우리는 어떻게 할 수 있습니까? 당신이 좋아하는 것을 도와 주시고, 카프카를 혼자서 달리시고, 좋은 일을하십시오 욥은 그것을 더 쉽게 만들고 싶어합니다 훨씬 쉬워 언제 – 움직이는 것만으로 데이터 센터의 조달 및 물리적 측면은 그렇게합니다

그리고 그것을 실행하고 혼자서 완전히해라 시장에서의 공간 분석을 통한 카프카의 회전 3 ~ 4 개 장소처럼 배치하십시오 다른 버전을 사용할 수 있으며 여전히 구성해야합니다 가상 네트워크 및 다른 모든 일을 좋아하지 않아 여기서 점심을 먹으면서 문제를 해결할 수 있습니다 그런 다음 관리 측면은 하드웨어를 더 많이 확보하는 것 외에는 크게 변하지 않습니다

아직도로드 밸런싱을해야하고 새로운 것을 추가해야합니다 노드와 패치를 작성하고 아기가 앉아서 동물원을 지키고 설정해야합니다 보안 및 SSL을 수행하고 수행 방법 또는 수행 방법을 알고 있어야합니다 나는 당신에게 hdinsight에 대해 조금 알려 드리고 싶습니다 그리고 어떻게 이러한 문제를 해결할 수 있을까요? 그러니 여기 대시 보드로 돌아와 푸른 대시 보드와 이것을보고 새로운 리소스를 만들고 ht 통찰력을 창출하십시오

클러스터 및이 진짜 빨리 뛰어 넘을 것입니다 클러스터를 통해 이미 hdinsight 데이터 플랫폼을 보유하고 있습니다 푸른 하늘에서는 많은 것을 관리하고 있습니다 너를 위해 그리고 많은 것을 해결하기위한 아주 멋진 도구 문제는 dan의 새로운 카프카처럼이 이름을주고 나도 몰라 왜 내가 철자에 대해 걱정하고 구독 i를 선택하십시오

이것을 원하고 어떤 종류의 클러스터를 원하는지 선택하십시오, hdinsight 여러 개의 클러스터 사이트가 여기에 와서 카프카를 선택하십시오 클러스터 유형과 그것이 레녹스에있을 것입니다 참조하십시오 kafka의 버전은 여기에서 선택하고 선택할 수 있으며 다음으로 이동합니다 어떤 것을 추가하는 것처럼 마법사를 따라 가십시오 어떤 사용자가 내가 원하는 및 ssh 사용자 및 재사용을 만들 수 있습니다 기존 자원 그룹, kafka 및 어떤 그룹 마법사가 입력의 유효성을 검사하고 다음 단계로이 클러스터를 만들고 어떤 종류의 원하는 저장소 계정과 새로운 계정 및 구독 그리고이 스토리지 계정은 실제로 클러스터의 메타 데이터를 설명합니다

스토리지 계정에있는 카프카 데이터와 디스크를 사용하지 않은 데이터 VM에서 그렇게하는 것은 저장 장치가 무엇인지 혼동하지 마십시오 실제로 이것을하고 이것을 통해 다음을 클릭하면 이것이 멋집니다 Part, hdinsight의 실제 생태계 및 앱과 그렇지 않은 앱 그 일을하고 꽤 흥분해서 얼마나 많은 노동자 노드는 kafka 클러스터에서 원하지만 기본값은 4입니다 그리고 얼마나 많은 디스크가 작업자 노드 당 원하는지 그리고 많은 것을 필요로하는지 말하십시오 스토리지 또는 약간의 스토리지 중 1 테라 바이트 디스크 및 작업자 노드와 그 기계의 크기를 선택할 수 있습니다

내가 기본 dv2를 원한다고 말하면 행복하다 코어와 14 기가의 램 (ram) 또는 이것보다 큰 것을 여덟 가지 종류의 돈이 필요하며 기본값을 고수해야합니다 그리고 동물원 키퍼 노드에 대해서도 똑같이하고 어떻게하는지 보여주세요 시간당 많은 클러스터가 나에게 비용을 줄 것이다 그것은 ciso에 좋다

너는 너가 뭘하고 있고, 합계하고 있는지 알 수있을거야 핵심 사용법 및 다음 단계로 이동하는 다른 질문들 약간의 확인 작업을하고 클러스터가 실행될 때 실제로 실행되는 스크립트를 실행합니다 bash 스크립트 준비 및 실행 이 지역에있는 가상 네트워크에는 클러스터는 매우 멋진 측면도 있고 만약 내가 다음에이 모든 것이 현재 모든 입력을 검증하는 것입니다 나는 변화에 관심이 있고 나에게 능력을 주겠다 이 배치를위한 암 템플릿 및 매개 변수를 가져 오려면 그래서 실제로 실제로 자동 배포를 할 수 있습니다

카프카 클러스터를 벌써 실행 시켜서 그냥 던지십시오 떨어져서 그리고 이것을 afterprovisiononed하게되면서, 꽤 시원한 재료와 포털 – ht 통찰력 포털에 Hd 통찰력과 URL은 무엇이며 얼마나 많은가? 여기에있는 노드들은 실제로 그들의 건강에 대해 조금은 클러스터 대시 보드로 이동하여 현재 진행중인 작업을 확인하십시오 지금 클러스터 그래서 이것은 매우 서늘합니다 체험하고 말 그대로 다음 목을 클릭하십시오

그리고 할 일이 없으면 정상적으로 드릴 스루하고 사용하십시오 카프카 클러스터에서 볼 수있는 대시 보드 사실이 시점에 도달하기 위해 많은 노력을 기울였습니다 매우 유용하고 유용한 도구 및 준비 단계 여기에 가서 볼 수 있습니다 – 실제로 클러스터 크기를 통과하여 이동하십시오 확장 할 수 내 클러스터 확장 및 실행 Kafka 클러스터, 트래픽 증가 경향 사람들이 가치를 보게되면 스트리밍 파이프 라인으로 그리고 그 데이터를 몇 번이고 다시 여기 와서 실제로 클러스터를 확장하고 더 많은 노드로 확장하십시오

말 그대로 더 많은 작업자 노드를 말합니다 6, 10, 얼마나 많은 구독하면 더 많은 것을 추가하고 저장합니다 저를 위해 기존 클러스터에 배포하십시오 사실이게 가장 좋아하는 작품 중 하나입니다 클러스터에서 실제로 관리 할 필요가 없습니다

그 머신을 만들고 실제로 슈퍼 값 방식으로 실행하십시오 Zure 이 모든 것이 어떻게 추가되는지 함께하면 당신이하고있는 일을 볼 때 당신이 hdinsight를 사용할 때 더 이상 육체에 대해 생각하지 않아야합니다 포커스가 자유로운 구성 요소 또는 운영 체제 레벨 구성 요소 응용 프로그램 수준에 더 많은 의미에서 응용 프로그램 카프카, 당신은 파티션의 균형을 조정할 것입니다 카프카, 당신은 그렇게하고 성장 또는 축소시기를 결정합니다

그리고 pos 단어 – 암호를 돌리고 처리하십시오 보안과 같은 것들 너는 여전히 많은 통제권을 가지고있다 그리고 클러스터에 로그인하여 바이너리를 설치하고 재사용하십시오 다른 것들을 계산하고 많은 사람들에게 유용하며 스택의 귀중한 부분에 집중하고 많은 부분을 집중시키지 않습니다 물리적 네트워크 구성시 스트림 처리를 수행하는 경우의 값입니다

고주파 거래를하지 않는 한 전혀 다른 이야기 그래서 그 중 하나가 카프카와 같은 사람들은 매우 풍부한 생태계와 실제로 내가 아는 사람들 중 대부분이 카프카를 사용하고 이벤트 허브는 메시징 중개인 자체와 배관 공사는 주변 물건을 이동시키고 연결 대상에 관심 to와 kafka는 kafka connect, kafka와 같은 것들이 될 것입니다 시냇물 – 죄송합니다 거기에 거울 제작자가 있어야합니다 flink, spark 및 사용중인 다른 도구 그게 그렇게 강력하고 거대한 사용자 커뮤니티와 큰 만들어 툴링 생태계로 주변을 압도하게 만들어줍니다

내가 좋아하는 툴 중 하나와 꽤 많은 사용법이 있습니다 미러 메이커 미러 메이커 데이터를 복제 할 수있는 도구 어딘가에서 tommics와 kafka 클러스터 및 창고 사이 그리고 어딘가에 원격 측정을 수집하고 원격 측정을 원한다 어딘가에 다른 곳에서 데이터 복사본을 원한다 영감을 얻은 미러 메이커와 코드를 작성하고 싶지는 않습니다 그렇게하면 여러 장소에서 볼거리가 있는지 상상할 수 있습니다

내가 태양 전지 패널과 위젯을 생산하는 곳, 그 공장 바닥에서 나올 데이터에 대해 알고 싶습니다 공장에서 수집하여 다시 분석 할 수 있습니다 한 장소, 우리가 Microsoft 내부에서 이것을 수행하는 방식에 대해 생각한다면 텔레 메 트리는 창문이나 사무실이나 공구를 내리고 있습니다 그것들은 랩탑이나 세계 어딘가에 배포됩니다 누군가 또는 무언가와 그 원격 측정법을 어디에 제품은 한 번 더 현지화되었지만 사용 데이터가 단일 장소로 악화되도록하고 싶습니다

제품을 개선하고 그 제품에 어떤 변화가 있는지 확인하십시오 허브 및 스포크 데이터 수집 매트 및 미러 제조업체 종류 어떤 코드 나 물건을 실행하지 않고도 쉽게 할 수 있습니다 데이터 백업 및 보관은 꽤 인기가 있습니다 이봐 요, 유성이 데이터 센터에 부딪혔을 때 데이터를 갖고 싶습니다 스트리밍 된 다른 곳에서 데이터 배포 및이 하나도 멋지네요

왜냐하면 우리가 거울 제조기를 자세히 보게 될 것이기 때문입니다 두 번째로 한 클러스터에서 읽고 다른 클러스터에 쓰기 클러스터와 클러스터는 서로 다른 부분에있을 수 있으며 같은 위치에 있어야 할 필요는 없습니다 다른 자격증 명과 카프카 클러스터가 귀하 소유가 아니며 데이터 액세스를 수행해야하는 경우 액세스 권한이 부여됩니다 유용 할 수있는 물건 명심할 것은 한 가지입니다

거울 제작자는 내결함성 메커니즘이 아닙니다 따라서 주제에 물건과 오프셋을 입력 할 수 있도록 설계되지 않았습니다 두 클러스터간에 차이가 있으므로 데이터는 동일하고 오프셋이 다릅니다 대부분의 시간에는 차이가 없습니다 그럴 때까지

그래서 케빈이 그걸 가지고있어 이것이 유용하기 때문에 우리는 이것에 관해 정말로 좋은 담보를 가지고 있습니다 매우 유용한 hdinsight 문서 페이지는 꽤 유용합니다 미러 메이커를 사용하는 방법에 대한 글을 작성하는 멋진 문서 하이브리드 카프카 솔루션 및 전제 카프카 (kafka) 클라우드 기반 처리 반드시하고 싶지 않아요

전제 카프카를 없애지 만 처리는 클라우드를 위해이를 수행하고 리소스를 얻고 자 할 수 있습니다 기회가 있으면 해당 문서를 살펴보십시오 따라서 카프카의 힘은 실제로 생태계에 존재합니다 핵심 혜택 및 실제로 많은 사전 기능이 있습니다 핵심 혜택과 종류가 다른 이벤트 허브 어떤면에서는 다른면에서는 다른 면도 있습니다

경쟁력있는 기능을 나머지 하늘색 스택에 통합 애널리틱스를 스트리밍하고 하늘색 기능으로 잘 작동하며 기능 팀이 몇 달 전에 쓴 정말 멋진 블로그, 작년 말에 처리가 가능할 수도 있습니다 100,000 개의 메시지가 이벤트에서 빠져 나옵니다 허브 및 서버리스 구현 및 그 꽤 시원하고 비늘 꽤 잘 별장 뚜껑이나 하늘빛 모니터와 같은 다른 것들은 잘 작동하는 코어 조각, 이벤트 허브는 클라우드 기본입니다 서비스 및 클라우드 환경에서의 실행 그리고 하늘빛 핵심 기능을 많이 묶어서 내가 말할 것입니다

두 번째, msi, v net, ip 필터링에서 이들 모두에 관해서, 나는 나머지 부분에 대해 이야기하십시오 첫 번째 이야기하고 싶습니다 캡처 야 이벤트 허브 캡처 기능 그것은 배치 처리에 대한 진정한 사랑을 되돌려줍니다 약간의 우스꽝 스러움과 스토리지 계정에 데이터를 보냅니다

우리가 제공하는 스트림에서 읽는 대신 믿거 나 말거나 스트림에서 읽는 것이 어려울 수 있습니다 일이 잘되고 힘들어지면 더 쉬워집니다 잘되지 않고 캡처 데이터가 보관됩니다 그리고 일괄 처리 시나리오를보다 효과적으로 제공하고 아카이브 시나리오와 정확히 우리가 쫓고있는 것 코드를 작성할 필요가 없으므로 오버 헤드를 최소화합니다

이렇게하기 위해 다른 서비스를 구성하십시오 매우 간단합니다 일괄 처리 및 실시간 사용을 원하는 경험과 아이디어 케네시가 취한 것과 똑같은 흐름과 다른 제안 그리고 착륙 한 후 빠르고 느린 길을 택하십시오 스트림을 보내기 전에가 아니라 스트림 한 곳으로 스트림 보내기, make 그 결정은 나중에 더 쉽게 할 수 있기 때문에 크게 보낸 사람을 변경하려면 게시자가 소비자보다 실시간이어야합니다

소비자가 이미 배치 프로세서를 사용하고 있기 때문입니다 기존 도구를 다시 작성하고 재사용하기가 더 어려워지고 경향이 있음 스트리밍을 사용하는 경우에도 일괄 처리를위한 프로세스 데이터 캡처 방법을 매우 빨리 살펴 봅니다 외모와 작품 및 내부 파티션 및 저장 공간 제공 계정, 하늘색 얼룩 또는 adls 계정 및 우리에게 시간과 크기 창과 우리가 창을 쳤을 때 메가 바이트 또는 분을 불문하고 교차해야 할 사항 각 파티션에 대한 올바른 파일 이제 스트림에서 읽지 않고 스토리지 계정으로 해당 데이터를 보유하고있는 파일을 보유하십시오 데이터가 여전히 스트림에 있고 실시간으로 스트림을 읽지 만이 방법으로 창 데이터를 가져오고 파일 이름의 종류와 방법을 선택하는 방법을 선택하십시오

실제로 어떤 종류의 용량으로 쓰기를 원하십니까? 시간과 크기 이것은 캡처 및 아주 쉽습니다 우리는 슬라이더를 볼 수 있습니다 시간 공간 분석 크기 및 선택 및 저장 당신이 원하고 그것을 선택할 수없는 공급자, 샘플 이름 지정 형식에 대한 드롭 다운과 곱슬 곱슬 함 사이의 조각은 매크로입니다 우리가 원하지 않기 때문에이 모든 것을위한 매크로가 필요합니다

충돌 이름 지정 및 원하는 순서대로 배치 그 (것)들의 사이에서 원본은 아래에 같이 지명 된 파일을 얻는다 그거야 그래서 꽤 많이 잡아라 클라우드로 데이터를 가져 오는 가장 쉬운 방법은 데이터를 얻는 것입니다 가중 화되어 스토리지에 저장됩니다

시도하지 않으 셨다면하십시오 Godr, 우리가 작년에 출하 한 기능이고 직장에 1462 일 언급했는데 전에는 진짜 직업이 있었어 이 작업과 실제 업무의 일부는 비즈니스 연속성을 보장하는 것이 었습니다 내가 일한 회사의 소프트웨어는 모두 달리기 누가 닥터 기획인가? 당신은 운이 좋지 않습니다 우리가 가진 것은 재해 복구 및 개념을 수행하는 능력입니다 별칭이라고 부르며 전에 작성한 이름 공간 인 dns처럼 보입니다

그러나 그것은 지역이 없습니다 그래서 그것은 세계적이며 기본 영역 또는 원하는 기본 영역 및 이름 공간 중등 학교 및 여기서 우리가 할 일은 모든 트래픽을 기본 네트워크로 보내면 모든 데이터가 한 곳으로 이동하여 정규화 된 별칭을 사용합니다 도메인 이름과 메타 데이터를 보조로 복사 그래서 카프카에서 주제를 만들고 보조 이벤트 허브를 만듭니다 복사 할 정책, 정책, 정책에 대한 자격 증명을 만듭니다

그뿐만 아니라 보조 및 소비자 그룹을 만드는 우리는 그 사본을 보조 사본에 복사합니다 전체적인 아이디어는 토폴로지입니다 선택한 두 지역에서 동일하게 장애 조치를 수행하고 트리거합니다 팔 명령을 통해 수행되는 것은 우리가 늙어 버릴 것입니다 기본, 보조를 기본으로 승격시키고 트래픽을 얻습니다

리디렉션되므로 토요일 밤에 다시 잠을 잘 수 있습니다 월요일에 그걸 고치는 것에 대한 걱정은 언제 있었습니까? 진정한 직업은 가장 큰 걱정거리 중 하나였습니다 어떻게 할 수 없습니까? 항상 일하고 가능한 한 물건을 계속 실행하십시오 이 과정을 마친 후에는 원래의 모든 기본 아직 거기에있는 데이터와 거기에 계속 남아 있으면서 읽을 수있는 경우 지진과 오프라인을 좋아하고 특히 좋아합니다 시간과 그것은 뒤 날 또는 무엇인가이다

다시 수리 할 준비가되면 똑같은 것을 취하십시오 새 별칭을 설정하고 보조 별칭을 추가하고 복구합니다 원하는 지역으로 돌아갑니다 우리가 당신에게주는 것은 사용자입니다 제어 된 rto, 목표 복구 시간 및 rto는 5 분입니다

페일 오버를 수행하고 5 분 동안 처리를 계속합니다 미국 서부가 바다에 빠졌을지라도 시간은 지금 살아 있습니다 지진 구역에서 나는 그 말을 그만둬야한다고 생각합니다 다른 멋진 기능이 있습니다 그래, 그거 재미 없어

하루와 그 중 하나는 v 넷입니다 그들은 사람들을 안전하게하는 데 매우 인기가 있습니다 개별 하늘빛 자원에 대한 네트워크 액세스 및 모든 v net의 가상 시스템에 이벤트 허브와 같은 액세스 권한 부여 그리고 vnet의 컴퓨터 만 말하고 인터넷 트래픽을 처리 할 수 ​​있습니다 멋지다 당신이 v 네트워크에 있지 않다면 동시에 필터링 필터링 및 승인 및 거부 정책 그래서 내가 말할 수있는 유일한 공공의 IP를 이야기하고 싶습니다

이벤트 허브 및 이러한 것들을 원하지 않는다 가장 큰 경쟁자이며 IP가 귀하의 리소스와 대화하는 것을 원하지 않습니다 관리 서비스 신원 방에있는 누구나 익숙한 그? 나는 많은 것을 생각할 것이다 사람들은 지금까지 그것에 대해 듣고 있습니다

Msi는 실제로 내가 가장 흥분하는 것들 중 하나입니다 모든 장난감 및 이벤트 허브에 대한 과거 경험은 이것을 얻는 것은 바로 지금 미리보기에 있습니다 자원과 하늘빛에 대한 정체성을 만들어 봅시다 , 예를 들어, VM은 스케일 세트 및 apservice 다음 그 애플 리케이션 서비스에는 이벤트 허브에 액세스 할 수있는 ID가 있으며 더 이상 연결 문자열을 사용해야합니다 연결 문자열 관리가 특히 고통 스러울 수 있습니다

그 주위에 높은 요구 사항이 있고 그게 당신을 해줄까요? azure 활성 디렉토리는 실제 azure 자원에 대한 ID 공급자입니다 또 다른 하나는 미리보기에서 아랍어로 롤베이스 액세스 미리보기에서 피드백을 찾고 제어합니다 사용자, 활성 디렉터 사용자 계정에 대한 액세스를 다시 제공 사람들에게 연결 문자열을 줄 필요가 없으며 포털과 서비스 자체에서 볼 수있는 것을 제한 할 수 있습니다 그렇다면 내가 가장 행복했던 것은 자동 팽창과 이것은 실제로 우리를 해결하기 위해 설계된 기능입니다 이벤트를 생성 할 때 오랫동안 최고의 지원 문제 우리는 당신을 위해 저렴한 비용을 유지하려고 노력하고 있습니다

저비용 및 대화이므로 리소스의 최소 패키지 1 분 안에 단위를 입력하고 1을줍니다 초당 치유량과 대부분의 사람들에게 치유량을 알려줍니다 스트리밍 플랫폼으로 시작하여 규모가 작거나 부서 또는 r이고 D와 초당 메가 바이트, 시간당 성장, 즉 84 기가 하루가 끝나면 사용량이 많아지고 결국 끝납니다 높을수록 사람들은 서버를 사용하기 시작하고 이벤트 허브로 3 개월간 문제가 발생하는 이유는 무엇입니까? 계속해서 구매 한 용량이 부족한 경우 우리가 사용량을 늘릴 정책 기반 기능을 켜고, 자동으로 단위를 넣어 내가 그걸 가지고 있었어

이전에 실제 이벤트 허브에 대해 말 그대로 상자를 클릭하고 너는 얼마나 커야 성장하고 통제 할 수 있니? 초당 10 메가 바이트를 수행 할 수 있으며 그 이상을 수행하는 경우 뭔가 잘못하고 뭔가를 지불하고 싶지 않아 잘못 정책 기반 제어 네가하지 않기 때문에 이것은 멋지다 성장하고 시작하기 때문에 무엇이든하고 싶습니다

최저 수준이며 가장 많이 지불하지 않습니다 왜냐하면 많이 사용하지 않기 때문입니다 그리고 시간과 상단에 자동으로 1 메가 바이트 증가 임계 값입니다 우리는 진짜 빨리 본다 알았어

우리가 이벤트 허브를 판매하는 방법 우리는 당신이 기본 또는 표준의 대부분의 사람들을 볼 때 정말로 표준으로 시작하면 두 가지를 생각해야합니다 첫 번째는 비 공격적이며 풋 유닛을 통해 이루어진다 쓰는 단위를 통해 자연적인 것보다 더 친절한, 하드웨어 메가 바이트 (메가 바이트), 메가 바이트 당 예약 둘째로, 하나를 보내는 능력을주는 풋 유닛을 통해 초당 메가 바이트이며 시간당 비용은 3 센트이며 비용 메시지 당신은 보내지 만 읽지 않은 사람은 28 백만 가지의 메시지를 보냅니다

어떻게 가격 구조와 두 모델이 생각하지 않기 때문에 클라우드의 모든 시나리오에 적합한 모델 매우 큰 유즈 케이스 대 희소 유스 케이스를 볼 때, 그렇습니다 분홍색의 소비 기준 가격과 파란색과 분홍색의 자원 가격 당신이 사용하는 것에 돈을 지불하고, 캡처, 라 같은 기능 추가 장바구니 및 블루는 기본적으로 클러스터 자체에 대해 지불하므로 단일 고정 비용입니다 스케일링은 내가 언급했다 풋 유닛과 이것들은 당신이 예약하고있는 것들입니다 – name 모든 이벤트 공간에서 넓은 공간을 차지하고 자동이없는 한 우리가 너를 다 쓸어 버리면 너를 막을거야

한 가지 중요한 점은 이벤트 허브를 염두에두고 사람들이이 목표를 달성하기 위해 매우 저렴하고 단위 시간당 비용은 3 센트입니다 하루에 72 센트, 1 초에 1,000 개의 메시지 보내기, 그들이 1 개의 killa 물린 메시지 인 경우에 86 백만개의 메시지 28 센트 (백만 센트), 84 센트 (84 센트)를 지불해야합니다 잠깐 대기 시간을 갖는 기가 바이트의 데이터 및이 모델의 비늘 선형 적으로 나는 8 천 6 백만을 가지고 있지 않다 나는 10 억을 가지고있다

하루 두 번째 테라 바이트의 초당 $ 37입니다 어디에서나 내가 완벽하게 관리되는 서비스를 찾을 수 있습니다 당신이 그것을 사용하고 필요에 따라 성장한다면 그것은 다른 종류입니다 이것을 차가운 조각 그래서 우리는 멋진 것들을 많이 만들었습니다

우리의 클라우드 경험을 통해 이벤트 허브 허브를보다 효과적으로 활용할 수 있습니다 그러나 스스로에게 묻는 정말 멋진 질문은 우리가 카프카와 혜택의 두 가지와 이점을 결합하십시오 이벤트 허브의보다 자연스러운 방법으로 모으십시오 무엇을 선택할 것인가? 너는하고 있고, 조각을 함께 섞어서 시작 했어 우리가 이야기 할 내용을 다음 섹션, 카프카 생태계를위한 이벤트 허브 및 확실하지 않은 경우 우리는 오늘 일찍 일어나거나 어젯밤 늦게 포털에서 보았습니다

이미 원한다면 이것은 우리가 어떻게 카프카를하고 싶을 수도 있습니다 카프카를 다른 방식으로 제안합니다 클러스터와 마찬가지로 카프카와 호환됩니다 10 프로토콜 프로토콜 및 이벤트시 실행 허브가 있고 그 위에 프로토콜 헤드가 있습니다

오늘 미리보기에 있고 사용합니다 표준 이벤트 허브 및 매우 작은 규모의 작업 매우 큰 규모와 서쪽에서 사용할 수있는 미국과 동쪽 미국 오른쪽 지금은 포털에서 만들고 내가 보여줄 때 깨달았습니다 이전에 포털에 있던 확인란이있었습니다 그것은 지난 몇 시간 동안 새로운 것이므로 오늘 아침에 없었습니다 내가 연습했을 때

그리고 나는 내 시원하게 지냈다 고 생각해 그것을 통해 그래서 나는 모른다 그리고 기존 카프카 응용 프로그램을 사용할 수 있습니다 연결 문자열을 변경하고 어떻게 보이는지 보여주기 위해, 우리는 당신의 피드백을 원합니다

이것은 다른 누구와도 다릅니다 지금 카프카와 sj를 제공하려고하면 우리를 걸을 것입니다 kafka 응용 프로그램 사용에 관한 최종 데모 그와 허브 >> 웹 사이트 및 어떻게 할 수 있습니까? 여기와 웹 사이트에서 이벤트에 대해 kafka를 사용하도록 설정합니다 이벤트 공간을 생성하고 그것을 클릭하면 플러스를 클릭하고 입력하십시오

이 이벤트 공간은 가능한 한 여기 카파에서 무엇을 보시고 이것을 클릭하십시오 두 가지가 될 수 있어야합니다 오늘 우리는 Kafka 기능을 사용할 수 있으며 우리는 더 많은 지역을 가리 킵니다 그것으로 가까이에 건설하십시오 그래서 이전 데모에서 나는 보여 줬다

카프카 클라이언트 응용 프로그램과 로컬 카프카를 사용하는 방법 내 – 나는 응용 프로그램을 그대로 사용하고 진행합니다 신청서를 통해 와서 지역에 대한 서비스에 대해 이야기하기 카프카, 내 닥쳐 지방의 카프카와 나는했다 그래서 여기서 볼 수 있듯이 부부 커플이 될 것입니다

카프카 응용 프로그램을 수정하기 위해 필요한 것들 코드에 대해서만 여기에 대한 확인을 여기 라인을 보면 첫 번째 체크 서버가 생기고 나는 당신이 그것을 여기에서 볼 수 있었다, 로컬 호스트와 지금이 경우에 토크 핸드 몇 개가 내 공간 09093이 될 것이며 또한 전송 및 로컬 카프카 용 애플리케이션 구성 케이스, 로컬 머신과 얘기하고 설정하고 보여줄 필요가있다 설정을 지정하는 방법 이것은 내가 할 파일을 설정하고있다 클라이언트 응용 프로그램에서 사용하고 구성해야한다는 것을 알 수 있습니다

이것이 프로토콜이기 때문에 이것이 카프카 기능이며 우리는 추가하지 않습니다 뭐든지 여기에서 기능을 사용하고 검색을 사용하도록 설정하십시오 그리고 오늘 saas를 지원하고 말한다 여기에 커플 것들과 여기에 사용자 ID와 암호가 있습니다 사용자 ID는 연결과 상수 및 미래 또한 그걸 가지고 있을지도 모르겠다

하늘에서이 연결 문자열을 가져 오는 비밀번호 웹 사이트를 당겨 여기로 – 단계 여기로 그래서 이것은 내 이름 공간이다 생성 된 정책에 액세스하려면 여기를 클릭하십시오 정책 및 그러면이 지점에서 연결 스트림을 가져올 수 있습니다 그리고 이걸 클릭하고 복사해서 붙여 넣으세요 구성 파일 및 필요한 모든 정보를 변경해야합니다

원격 위치 및 보안을위한 부트 스트랩 이제 여기에서 응용 프로그램 중 하나를 수행해 보겠습니다 내가 뭘 할 것인가는 내 주제에 대한 이야기 ​​만 할거야 그리고 주제와 클라이언트를 어떻게 연결하는지 카프카는 오늘과 신청서입니다 화제를 가지고 나의 이름을 말하고 지나가는 설정 아직 여기에서 일어나는 일이나 클라이언트 응용 프로그램을 보내지 마십시오

몇 가지와 함께 무언가와 안녕 응용 프로그램 변경 및 서버 및 응용 프로그램을 사용할 수 있고 그것을 생각 멋진 데모이며 카프카 있습니다 이 카프카에서 이벤트 하우스까지의 러닝 및 클라우드 및 데이터, 옳고 그게 얼마나 유용한 지, 카프카가있는 중간 제작자와 데이터 더 가까이서 시도해보십시오 카프카 사용 여기와 데모 및 두 가지 설정과 내 실행 기계를 가까이서 사용하고 기존의 카프카 속성을 다음과 같이 사용합니다 그것은 할 수 있고, 할 수 있습니다 이상한

로컬 호스트 설정 및 사용 어떤 현지 카프카인가요? 서비스에 대해 이야기하고 있으므로 보안 정보를 제공해야합니다 서버 포함 및 구성 확인 부트 스트랩 서버 이름 공간을 봅니다 그럼 우리가 데모에 들어가서 말하는거야 지역 카프카가 달리기 시작하고 여기와 이번에는 소비자 다른 주제와 주제를 사용하려고합니다

Too와 첫번째 화제 그리고 이것을 위해이 카프카를 멈추고 이번에는 단순히 그렇게하고 싶다는 것보다 훨씬 많은 데이터가 필요합니다 카프카 프로듀서 도구를 사용하여 초당 5 개씩 실행하십시오 그리고 초당 로컬 메시지 5 개와 그것을 시작하고 토핑을 지정하십시오 에 송신하는 것처럼 보입니다 – 맞습니다 그래서 화제 너무 지금 나는 그것을 보낼 것이다 그리고 시작과 데이터 및 데이터 전송 및 소비자 독서 데이터 이 서비스에서

Kafka 고객 경력 : 설정이있는 서비스 및 응용 프로그램 이런 일이 생기면 나는 궁금하다 그리고 그룹에서 도구의 카프카를 사용하고 표지판을 보자 그래서 나는 그저 그 지역의 커피와 소비자를 원하고 있습니다 그룹과 나는 단지 할 수있다

검사 그리고 괜 찮 아 요 보여줍니다 그리고 374와 나는 같은 일을 다시하고, 여기에서 서비스하고 릴리스되면서 여기에 한 가지만 있습니다 해보자 여기에 우리가 간다 그리고 여기 의뢰인이 그것을 볼 수 있습니까? 끊고 달리기 그런 다음 여기에 100을 입력하고 데이터를 가져옵니다

그리고 아마 그것을 보내고 그 일을보고 시도해보십시오 1,000 여기에 우리가 간다 하나, 둘, 셋, 멈추자 >> 기존 도구를 모두 사용하십시오 >> 얼마나 대단한가요? 고맙습니다

>> 우리는 이것을 기쁘게 생각합니다 왜냐하면 기존의 Kafka 도구와 다른 일을하지 않았으며 이것은 정상적인 것입니다 오늘 이벤트 허브에 사용할 수있는 카프카 제품 그리고 이걸로 우리의 철학은 우리가 시도하고있는 것입니다 이 경험을 당신이 옳은 것을 선택할 수 있도록하기 위해서 이벤트 허브와 카프카가 있기 때문에 원하는 도구입니다 친구

>> 나는 그것을 좋아한다 >> 나는 그것을 조금 건너 뛸지도 모른다 Azure는 여기에 필요한 모든 옵션을 제공합니다 꼭 카프카와 if를 사용할 수 있다고 지금 당장 말해주십시오 하이브리드 환경에서 활용하고 싶습니다

그곳에서 당신을 위해 솔루션을 만들고 관리 대상으로 실행하고 싶습니다 클러스터에 우리가 확실히 당신을 도울 수 있고 당신이 원한다면 우리가 할 수있는 카프카를 달리는 경로를 실행하십시오 요점은 하늘의 준수에 의해 뒷받침된다는 것입니다 인증 및 보안 및 가용성은 데이터 스트리밍을 쉽게 수행 할 수있는 가용성 유형 우리가 이야기 한 내용과 카프카에 관심이 있다면 밖으로, hdinsight 및 iaz 그리고 우리가 당신이 생각하는 것을 알려주십시오 우리는 지금 약간의 시간 동안 질문을 할 것입니다

이것은 q & a 슬라이드이며 shameus에 대한 질문은 없습니다 그것은 어려운 주제입니다 과민 한 주제 나는 cinco de mayo를 사용할 것이다 내 일 주일이기 때문에

>> 모든 이벤트 허브 기능 카프카와 관련된 모든 작업과 주제에 대한 통제 >> 관중석에 그 사람을 심지는 않았지만, 그렇습니다 캡처와 같은 프로토콜 번역 및 kafka 그리고 스트림 분석 (stream analytics)은 갭과 그 모든 작업을 정리합니다 그것은 당신을 위해 작동합니다 아랍어 조각 msi 때문에 아랍어 사용자 그리고 그것은 결국, 술술과 술에 구h 주걱 작동합니다 카프카가 사용하는 인증 프로토콜

>> 사람들은 카프카와 이벤트의 혜택 >> 마지막 슬라이드에서 말 했어야 했어 중부 표준시 >> 실행중인 경우 어떤 종류의 성능 절충을합니까? 허브와 카프카를 관리하는 카프카 클라이언트? 성능 측면에서 균형을 이루고 있습니까? >> 항상 절충안을 만듭니다 가장 큰 트레이드 오프를 만들고 있습니다 실제로 현재로서는 휘발성 메시징을 지원하지 않습니다

따라서 우리는 항상 데이터를 3 배 복제하고 복제는 카프카에서는 선택 사항이므로 오늘날에는 변동이 없습니다 이것이 당신이 만드는 주요한 단점입니다 데이터를 잃어 버리지 않을 것임을 의미합니다 >> 약간의 질문 연구 온라인 및 최대 파티션 32, 맞습니까? >> 전담 이벤트 허브에 대해 너무 많이 말하지 않았습니다 표준 모델에서는 더 많은 파일과 파일이 필요하면 최대 32 개가 있습니다

티켓과 파티션을 지원하지만 정말로 가고 싶다면 미친, 우리는 실제로 그 헌신적 인 모델을 많이 가지고있다 일반적으로 일정한 비율은 초당 약 50MB입니다 그리고 전용 클러스터로가는 것이 비용 효과적이기 때문에 풋 유닛을 통해 모든 것을 지불 할 필요는 없습니다 Houre, 몇 시간 만에 돈을 지불하면서 메시지를 지불합니다 백만 달러 당 2

8 센트는 꽤 싸고 100,000 달러는 들린다 두 번째는 당신이 헌신적 인 상태 일 때 꽤 빠르다 100 개가 넘는 파티션을 원한다면 헌신적 인 >> 시스템의 이론적 인 스케일링은 – Linkedin은 전공이며 그곳이 바로 그 곳입니다 시작과 끝까지의 수준

>> 이벤트 허브 또는 카프카 프로토콜? >> 전체 >> 이벤트 허브를 시작했을 때, 헤일로는 120 만개의 메시지를 보내는 2014 년 후광에서 두 번째 단일 이벤트 허브를 통해 이제 우리는 과거입니다 지금은 지나쳤습니다 >> 이벤트 허브에는 고유 한 종류의 스키마 관리가 있습니까? 이런 종류의 문제를 해결하는 가장 좋은 방법은 무엇입니까? >> kafka 주변의 친환경 생태계 및 기업 도구 합류점에서 그런 도구를 사면 내가 가진 것처럼 생각해 이러한 도구에 대한 라이센스는 작업 도구는 물론 이벤트 허브를 사용하여 이벤트 허브를 사용하십시오 메시징 중개인의 일부가 아닙니다

>> 나는 스키마가 열려 있다고 믿는다 출처도 >> 나는 그것이 그 주변에 있다고 생각한다 100 >> 이벤트 허브에는 추가시 생성자 관점에서 스키마 관리 스트림의 입력란입니다

>> 조금 다르다 카프카의 메시지에는 모든 시간과 프로토콜이 헤더에 대한 QP 및 맵은 헤더에서 원하는 것을 얻습니다 원시적 가치와 사람들이 일반적으로 등록하는 한 그들의 물건 그것은 매우 일반적인 것이다 당신은 헤더가 없으며 메시지 자체를 가지고 있습니다

스키마 레지스트리가 스키마를 대체 할 요소 일 것입니다 좋은 질문 >> 거울 문제 메이커, 거울 오프셋 및 고객 및 자동 네가 그만 둘 때 >> 오늘 godr은에있는 데이터가 아닙니다 토픽, 토픽 자체 및 오프셋은 다른

>> 우리는 무엇에 대해 이야기해야합니까 >> 데이터 복제 구현 또한 실제로는 동일한 오프셋을 갖습니다 우리가 아직하지 못한 것, 우리가 작업하고있는 것, 그리고 같은 오프셋과 두 개의 다른 클러스터 >> 7 인 이상 보유 일 및 최대 7 일 >> 이것은 가장 좋아하는 질문입니다

7 일 이상 보유를 어떻게 유지합니까? 나는 이것이 좋은 생각이고 초당 1 메가 바이트라고 확신하지 못한다 2 주간에 12 테라 바이트의 데이터를 얻었습니다 이제 원하는 경우 12 테라 바이트의 데이터를 읽으십시오

처리 할 로트 붙잡기가 어려울 것입니다 작은 물줄기에 올라 타면 큰 물줄기로 나아 간다 아니면 초당 100 메가 바이트이고 그 2 주를 얻었습니다 당신이 따라 잡고 더 많은 것을 생산하려고한다면 시간은 있지만 실제로 캡처 기능을 구현 한 이유는 내가 6 개월 전 돌아갈 것이라고 말하고 싶다면 그리고 나서 데이터를보고 작업을 할 수 있고 실제로 잘 포착 할 수 있습니다

정책을 사용하여 시간 정책 항목과 하늘색 얼룩 스토리지 계정이 자동으로 만료되도록하는 스토리지 저장소 파일 및 모든 항목을 캡처하는 모든 파일 6 개월이 지나면 사라져 버릴 것입니다 당신이 그들과 헤어질 수 없을 정도로 불변하므로 멀리 갈 때까지 사람들이 그것을 가져 오기 때문에 캡처를 더 많이 보일 것입니다 이벤트 소싱 패턴은 규모가 될 때까지는 정말 멋지다 >> 질문이 하나 더 있습니다 카프카에는 무제한 메시지 크기가 있습니다

그리고 254 >> 우리는 실제로 이것을 변경했습니다 Kafka 헤드는 클라이언트의 모든 기본값과 1 메가 바이트를 처리합니다 무제한으로 가고 사람들이 원하는 어떤 크기로 가게하지 마십시오 메가 바이트와 메시지보다는 가을과 가을을 바라본다

사람들이 그렇게해야하고 비싼 물건을 흘려 보내야합니다 이미지를 넣고 그 이미지를 가리키는 수표를 요구하고 BLOB 저장 용량과 같은 저렴한 청구 요청 확인 더 나은 패턴이 되십시오 좋은 질문입니다 고맙습니다 >> 안녕, 댄

다시 만나서 반가워요 >> 너도 마찬가지야 >> 빠른 질문 및 스트리밍 데이터와 시간, 전제와 데이터베이스 및 모든 거래와 데이터가오고 있으며 실시간으로 처리하고 싶습니다 전제에서 클라우드로 데이터를 옮기고 카프카를 생각하고 그게 나쁜 생각일까요? >> 실제로 몇 cdc 캡처 변경 도구가이를 수행하고 기회는 카프카 또는 이벤트를 사용합니다 cdc prem 및 sql과 oracle을 수행하는 전송 메커니즘으로서의 허브 그리고 다른 인스턴스와 다른 곳에서는 실제로 매우 일반적입니다

>> 우리가 생각하고 있었기 때문에 cdc를 제안 해 주어서 기쁩니다 cdc 그리고 우리는 많은 cdc 있습니다 오라클 용 커넥터 및 SQL 서버용으로 열리지 않았습니다 불행히도 우리는 상업적으로 가야만합니다 그리고 솔루션과 슬라이드가 빨리 보입니다

그리고 지금 바로 당신과 그 사람들을 통해 흐르는 듯 흐르는 매우 비쌉니다 Microsoft는 cdc 커넥터를 제공합니다 마이크로 서비스 내 세계는 당신이 알고 있으면 메시징 공간입니다 안락한 곳 안팎에서 그렇게 말할 수는 없지만 우리가 놀고있는 데이터 부스에 들러야합니다 그리고 그 대답을 찾을 수있는 무언가를 찾으십시오

>> 다른 데이터도 있습니다 파일 기반, 권한 및 애플리케이션과 같은 소스는 그것들과 숙박 시설을위한 Cdc 타입의 물건 및 가능한 것 실시간 사진을 찍으려면? >> 파일을 기반으로 할 것입니다 푸른 데이터 팩토리를 더 많이 보았고 나는 이야기했다 스트리밍 및 스트리밍으로의 트윈은 기본 배치이며 원하지 않습니다 스트림 및 데이터 팩터를 거치는 모든 작업이 구름에 SaaS

>> 공장 및 15 분 및 15시와 같은 더 높은 주파수 분이 너무 좋지 않고 너무 느립니다 >> 데이터 공장 팀 작업 다른 팀과 함께 즐거운 시간이 될 것입니다 그곳에 >> 기회와 전례가있는 매우 유사한 유스 케이스와 cdc 소스와 kafka의 poc hdinsight 버전을 찾고 2018 년 말에 녀석의 추천과 제품에 대한 hdinsight의 영향 제공 >> 꿀꺽 거리는 일을 원하지 마라

Hdinsight가이를 수행하고 바이너리를 설치하고 그 모든 작업을 수행합니다 그 클러스터에 대한 책임을지고 있기 때문에 네가 할 수있는 능력이 없다면 나는 조금주의를 기울여야한다 그리고 만약 당신이 능력을 가지고 있다면, 그것이 더 쉬운 방법이 될 것이기 때문에 Prem 또는 그것에 대한 아주 좋은 해결책입니다 당신이 뭔가를 볼 때 자신 만의 바이너리를 설치할 수 없기 때문에 이벤트 허브 다른 것들을 위해 클러스터를 사용할 수 없으며 만들 수 없습니다 kafkas 자체의 jar 변경 또는 코드 변경에 의한 특정 로우 레벨 카프카 생태계에 필요한 것이 필요한 경우 당신에게 접근하지만 더 작은 것을 원한다면, 필요하지 않습니다

전체 클러스터 또는 그 클러스터로 시작하는 것이 적합하고 프로토콜 호환이 가능하기 때문에 실제로 이벤트 허브에서 hdinsight로 이동 >> 고맙습니다 >> 그들이 가지고있는 것과 비슷하며 SQL 및 nonsql 데이터베이스에 대한 통찰력을 제공합니다 우리가 가진 공간과 또 다른 도전은 데이터베이스를 보는 것입니다 2 ~ 3 개의 데이터와 카프카에서 >> 선을 넘어선 때로는 나만큼 좋은 곳도 있습니다

Belittling하고 가끔 언젠가는하고 싶지는 않습니다 실시간 파이프 라인을 통해 1 년 또는 1 개월 동안 데이터를 수집하고 펌핑하십시오

Streaming Big Data in Azure with Kafka and Event Hubs

안녕하세요 여기에 와줘서 고마워

방이 바로 여기 있다는 걸 알았어 내 이름은 Dan rosanova이다 나는 Azure의 프로그램 관리 책임자 다 오늘날 메시징 서비스는 Microsoft에서 1460 초가 걸렸다 그리고 나는이 Jay와 함께 여기있는 모든 사람들에게 내가 독일에서 부동산을 던져서이 물건을 던지려는 것을 듣고 나는 흥분된다

멋지게 오늘 이야기는 카프카와 이벤트 허브로 Azure에서 큰 데이터를 스트리밍하는 것입니다 우리가 실제로 시작하기 전에 저는 오늘 이벤트 하우스를 사용하고있는 이들에게 익숙한 사람들의 손쉬운 쇼를 보여줄 것입니다 손을 보여 주거나 그것이 무엇인지 압니다 승인 누가 카프카를 사용하고 있습니까? 큰

네가 원한다면 나는 확신하지 못한다 이제 시작하겠습니다 제가이 분야에서 정말로 시작하고 싶은 곳은 일반적으로 이야기하는 큰 데이터에 관한 것입니다 특별히 스트리밍에 관한 것이지만 큰 데이터가 실제로 얼마나 큰지에 대한 생각은 오늘날 세계에서 일어나는 일을 살펴 보는 것입니다 나는 그것이 4000000 시간의 내용이나 40 만 시간의 오른쪽에 있어야한다고 생각하거나 매일 52 억의 Google 검색을하는 인류의 절반 이상인 인터넷 사용자가 38 억 명에이를 것이라고 생각합니다

당신은 페이 스북 (Facebook)에서 14 억 명의 사용자를 알고 있습니다 나는 그들 중 하나가 아니며, 저도 아니에요 그리고 60,000,000,000 기가 바이트의 데이터가 매일 세계적으로 생성되어 그 수의 크기가 60,000,000,000 기가 바이트에 달한다는 것을 생각하면 꽤 큰 269,000,000,000 개의 이메일이 2017 년에 나온 것이므로 실제로 스팸이 얼마나 많은지 잘 모르겠습니다 나는 그 중 대부분과 2 억 2 천만 개의 문자 메시지를 추측 할 것이고 그 중 상당수는 Azure 이벤트에 하루에 1 조 8 천억 건의 요청이있는 것으로 꽤 행복하다는 사실이 지금 우리의 일상적인 실행 속도라고 말했습니다 우리가 4 년 동안 공평하게 달려온 서비스

큰 데이터에 대한 흥미로운 점은 우리가 만들고있는 모든 정보가 모든 상태에 있다는 것입니다 실제로이 작업을 수행하기 전에 다른 곳으로 가져와야하는 데이터를 캡처해야합니다 이것은 우리가 해낸 새로운 도전이 아닙니다 전반적으로 컴퓨팅의 역사를 알고있는 것은 당신이 지금하고있는 모든 일들을 볼 수 없다면 당신이 일을하고있는 etl을 자신의 경력에서 어느 시점에서 끝내 었는지에 대한 놀랍게 놀랐습니다 그리고 정말로 당신은 당신이 데이터를 정제하려고 노력하고 있다는 것을 생각해야합니다

데이터를 유용하게 만드는 것은 실제로는 정보가 아닙니다 그리 유용하지는 않습니다 그래서 사람들이 역사적으로 이것을하는 방식을 봅니다 배치 처리를 거쳤습니다 그래서 이것은 우리 모두가 기술에서 자란 방식과 비슷합니다

배치 파일로 수집 된 데이터를 배치 파일이 일종의 ETL로 처리되고 있다는 것입니다 S 400 타입 etl 또는 그것이 무엇인지 그리고 당신이 hooptie PTL과 같았는지 당신은 여전히 ​​etl을하고 있고 여기에 많은 역사가 있습니다이 방에있는 누군가가 어떤 종류의 ETL을 보지 않았다면 나는 정말로 놀랄 것입니다 기본 일괄 처리 그들의 경력

그것은 많은 이점을 가지고 있습니다 나는 많은 역사가 있다고 말했지 만, 느려질 수 있고, 문제가 될 수 있습니다 좋아하는 것이 있다면, 데이트하고 싶은 물건이 보일 때가 있습니다 그냥 내 머리를 흔들어 마이크로 소프트와 무역 업계에 오기 전에 오랫동안 실시간 메시징으로 시간을 보냈습니다

그리고 실망한 것을 볼 때마다 나는 오랫동안 그것을 생각하고있었습니다 그래서 전 세계 어디에서나 일괄 처리가 절대적으로 도처에있을 수 있으며 마지막 월급과 아마도 사망 증명서가 배치로 처리된다는 사실에 동의했습니다 그리고 아마 AS 400 하지만 그게 바로 삶이고 나는 그걸로 괜찮습니다 그리고 저는 거기에 갈 것입니다

그러나 흥미로운 것은 많은 것들이 현재의 일괄 처리를 바꾸지 않을 것입니다 반드시 바꿀 필요는 없습니다 일을하는 또 다른 방법이 있습니다 일괄 처리보다 빠르게 성장하고 있습니다 이것이 실시간 처리이며 이것은 실시간으로 초점을 맞출 것입니다

이는 데이터 세트가 아닌 개별 데이터를 실제로 처리 할 수 ​​있기 때문에 흥미로운 점이 있습니다 그리고 세트가 중요한 개별 데이터 요소 일 수도 있고 개별 거래가 일반적으로 우리가 모델링하려고하는 것과 더 가깝고 구매 주문과 같은 것을 처리하려고 시도 할 때 내가 정말로 관심있는 것을 사는 사람이라면 내 구매 주문서에 대해서는 사실 자신에 대해 신경 쓰지 않습니다 따라서 개발자가 이전에 알고 있거나 개발중인 개발자가 있다면 해결 방법의 배치와이를 어떻게 수행 할 것인지 생각할 수 있습니다하지만 3 년 또는 40 년 동안 도구가 우리에게 그런 식으로 생각해보십시오 그러나 실제로는 비즈니스 프로세스가 더 많은 경향이 있습니다

개별 거래에 중점을 둡니다 당신은 훨씬 더 빠르게 엔테 이딩 성능을 얻을 수 있기 때문에 일괄 처리 작업이 어떻게 이루어지는 지, 실시간을 통해이를 빠르게 수행하는 방법을 살펴볼 수 있습니다 그리고 이것은 제가 가장 좋아하는 것 중 하나입니다 실제로 거래 업계에서 오는 것은 정산 프로세스에서의 예외입니다 이러한 일괄 처리는 일괄 처리에서 모두 차질을해야하기 때문에 사실 일괄 처리로 인해 꽤 귀찮습니다

그들과 함께 뭔가를하십시오 따라서 일괄 처리 문제에 대한 답은 일반적으로 좋은 대답이 아닌 또 다른 일괄 처리 경향이 있습니다 그리고 이것이 왜 중요한지에 대한 진정한 요점은 etl과 배치 기반 처리와 같은 전통적인 것보다 빠르게 성장하는 이유는 제가 경제 이론에서 훔치고있는 아이디어입니다 데이터의 시간 가치는 돈과 같은 시간 가치와 같습니다 돈이 있다면 금리에 대해 생각할 필요가 있습니다

미안하지만 재무 배경은 그 돈이 실제로 가치가 있는지를 아는 것입니다 그것으로 할 수있는 데이터는 같은 방식입니다 따라서 역사적인 경향에 대한 데이터를 수집 할 수 있다면 유용하지만 실제로 모든 모델을 구축하는 방법이지만 데이터가 실제로 매우 유용하므로 화재 경보가 울리면 바로 유용한 데이터입니다 아마 지금부터 1 시간 정도면 유용하지 않을 것입니다 제 집에 불이났다면 아무도 모른다는 것을 빨리 알고 싶습니다

재미있는 점은 데이터가 꼬리와 아무런 변화가 없다는 것을 안다면 가치가 떨어질 것이지만 시간이 지나면 값을 되 찾을 수 있기 때문에 개별 데이터 포인트가 가치 있고 가치를 잃고 가치를 잃을 수 있다는 것입니다 공동으로 더 가치있게됩니다 실시간 처리가 많이 필요한 이유는이 두 가지를 결합하여 역사적인 장기 데이터를 모델링하여 오늘날 기계 지능을 통해 세계를 이해하는 방식을 구축해야한다는 것입니다 점수를 매기고 실행할 수 있기 위해 그들은 실시간 데이터 소스를 가지고 있었기 때문에 그것이 예외적이지 않은지를 알 수 있도록 정말 예외적이었습니다 그래서 이것은 제가 많은 이상한 것을 사들 일지라도 신용 카드 사기 탐지와 같은 일을 할 수있는 방법입니다 전 세계 여러 곳에서 온 것들

내 구매 습관이 다른 사람들과 다른 경향이 있기 때문에 항상 꺼지지 않습니다 그래서 이것은 왜 당신이 실시간에 관심을 가지는지입니다 이제 이것이 전형적인 데이터 파이프 라인에 대해 조금 이야기 해 봅시다 단계가 있습니다 일괄 적으로 etl을 수행하고 있거나 실시간으로 작업하고 있지만 개념적으로 다르지는 않습니다

당신은 당신의 데이터를 어딘가에서 오게됩니다 이것은 일종의 프로듀서들입니다 이것은 실제로 흥미로운 데이터를 생성하는 어플리케이션이거나 디바이스와 머신이있는 요 테이 공간입니다 스테이지에서 무언가를 무대에 올리면 두 번째 etl 사람들이 스테이징을 좋아한다는 이야기를들을 것입니다 그런 다음 데이터를 어딘가에 집중화하거나 실제로 처리 할 단계를 다음 단계로 설정해야합니다

결국에는 장기 보관을위한 좋은 장소에 보관할 것입니다 결국 당신은 정말로 실제로 행동하는 프레젠테이션을하게됩니다 사람들과 함께하는 우리 고객은 모두 우리 모두를 좋아합니다 비즈니스 사람들이 관심을 갖고있는 경향이있는 고객은 자신의 관심사를 염려합니다 데이터의 출처와 데이터를 이해하고 통찰력을 얻으려고하는 것은 무엇입니까? 이것의 나머지 부분은 소시지가 내부에서 만들어진 방법이며,이 방의 바깥에있는 사람들은 일반적으로 그다지 적게는 신경 쓰지 않습니다

그래서 우리는 이것이 어떻게 작동 하는지를 볼 때 오늘날의 전통적인 ETL 자료에서 볼 수있는 것은 내가 춤추는 자료를 준비하는 것이 ETL의 핵심이라고 생각하면 파일에서 볼 수 있으므로 많은 파일을 사용하게됩니다 파일에 대한 이점이 있다는 것을 알 수 있습니다 파일을 가져 와서 코드를 작성하거나 도구를 사용하여 반복적 인 결과물을 얻을 수 있다면 자신이나 통합 담당자에게 일하는 개발자라면 파일이 실제로 작동하기 쉽습니다 사실 좋은 종류

또한 실제로 여러 파일을 읽거나 다시 읽을 수 있으므로 많은 사람들이 동일한 파일을 읽을 수 있으므로 비파괴적인 독서가 가능합니다 실제로는 자연스러운 순서가 포함되어 있습니다 그것이 진짜 질서인지 아닌지는 파일이 어떻게 작성되었는지에 따라 다른 질문이됩니다 그래서 이들은 실제로 파일을 가지고있는 몇 가지 장점입니다 대중적인 파이프 라인에서 kuse 사람들은 통합 파이프 라인에서 많은 단서를 사용합니다

꽤 큰 MSMQ 서비스 버스 팁코 같은 IBM MQ와 같은 것들은 파일과는 다른 몇 가지 파일 문제를 해결하는 파일과는 다른 이런 종류의 도구와 사용자 비트를 제공합니다 좋은 파일은 좋은 것들을 가질 수 있습니다 파일의 문제점은 파일이 단일 리소스라는 것입니다 그래서 당신이 할 수있는 아주 큰 파일을 다루지 않는 한 하나의 파일을 병렬화하는 것이 어렵습니다 따라서 큐는 파일보다 더 확장 될 수 있습니다

compsa 경쟁 모델 소비자가 동일한 Q를 사용하여 많은 소비자를 끌어들이는 것은 유용하고 트랜잭션 일관성을 유지할 수 있으므로 실제로 Q가 트랜잭션 읽기 및 쓰기를 지원할 수 있습니다 따라서 데이터베이스의 다른 곳에 메시지를 넣은 다음 원자 트랜잭션으로 메시지를 완성하면 매우 유용 할 수 있습니다이 파이프 라인에서 데이터를 잃고 싶지는 않지만 일반적으로 비즈니스 사람들은 매우 화를냅니다 그들이 알아 내면 그들이 가지고 있습니까? 대기열을 재생할 수 없기 때문에 문제를 해결할 수 있지만 실제로는 큰 문제입니다 메시지를 완성한 대기열에서 메시지를 읽으면 아무도 그 메시지를 읽을 수 없으며 때로는 유용합니다

이것이 다른 때와 이것이 최종적인 방식으로 유용하지 않습니다 내가 한 일은 너무 많이 내 경력 데이터베이스에서 이것은 준비에 사용됩니다 좋은 하나의 데이터베이스는 멋지지만 그들은 헤비급이야 그들은 당신이 완전히 재생할 수있는 확실히 트랜잭션 일관성 있어이 멋진 기능을 모두 가지고있어 그들에게서 당신은이 모든 것들에 그들 안에있는 버전을 표시 할 수 있습니다 그러나 정산 배치와 관련된 문제와 마찬가지로 이것은 관리해야 할 데이터베이스가 더 많아서 문제를 해결하려고 시도하는 것이므로 데이터베이스와 관련된 데이터베이스 전송 문제는 시간과 장소가 있지만 문제가 될 수 있음을 의미합니다 그리고 이것에 대한 도전은이 모든 준비물을 묶어서 실제로 점점 더 많은 대기 시간을 얻는 것입니다 그래서 15 분 후에 어떤 낙하 지역에 머무르면 15 분 후에 테이블을 준비하고 15 분 후에 다른 etl이 실행됩니다

그리고 당신이 그것을 알기도 전에 많은 시간을 더했습니다 우리가 같은 eventhubs 같은 것을 볼 때 실제로 카프카에 대한 진정한 우리 Azure에서 파이프 라인의 동일한 유형을 볼 때 우리는 실제로 실제로 프레 젠 테이션의 끝 부분에서 사용자가 대시 보드에 관심있는 것들을 시작할 수있는 봐 사실 이겠지? 모바일 장치 및 검색어와 같은 Cortana 항목이 있습니다 처음에는 이벤트 프로듀서와 이들이 기존 응용 프로그램의 응용 프로그램이 될 수 있으므로 요트 장치 일 수 있습니다 다른 많은 것들이 될 수 있습니다 그럼 당신은 내가 이미 언급 한 모든 조각들을 가지고 있습니다

일부 컬렉션을 가지고 있습니다 이들 중 일부는 클라우드에 들어가기 위해 스테이징을 사용할 것입니다 이들 중 일부는 인터넷에 직접 연결되어 우회하여 착륙합니다 그 데이터를 다시 통합 버퍼에 저장하십시오 그것이 맞는지 여부

이벤트 허브는 카프카 (kafka)로, 어떤 종류의 파티션 소비자 버퍼가 두 번째 의미에서 무엇인지에 대해 이야기합니다 그리고 나서 여러분은 그것에 대한 일종의 스트림 처리와 우리가 일반적으로 보았던 것을 할 수 있습니다 eventhubs를 실행하는 4 년 동안 발생하는 스트림 처리의 2 가지 유형이 경향이 있다는 것은 빠른 실시간 스트림 처리가 이것이 당신의 후보자 탐지가 될 것입니다 화재 경보는 실제로 우리가 허브 4를 찾기 위해 실제로 설계 한 것입니다하지만 흥미로운 점은 실제로 느린 데이터 경로가 실제로 똑같이 사용되고 있다는 것입니다

우리는 2 년 동안 고객의 80 %를 실현했습니다 그들은 실시간으로 모든 일을 처리했습니다 같은 날에 느린 처리를하고 있었고, 내가 본 것 중에 가장 좋은 예를 보았습니다 게임 프랜차이즈의 헤일로였습니다 후광

Halo는 모든 세대의 게임을 향상시키기 위해 분석 기술을 사용하여 매우 성공적 이었으므로 게임에서 사람들이 수행하는 작업에 대해 많은 양의 원격 측정 데이터를 수집하므로 많은 분석을 수행하고 실제로 분석을 기반으로 게임을 개선합니다 초과 근무를 모았습니다 그들이 추측하고있는 것만이 아닙니다 사람들이 정말로 원하는 것은 무엇이며, 매번 올바른 일이 생길 때마다 매우 똑똑합니다 Halo 5를 사용하면 실시간 텔레 메 트리와 함께 eventhubs 인 하나의 텔레 메 트리 파이프 라인을 실제로 사용했습니다

당신이 할 때 플레이어 경기 또는 토스트와 같은 일을합니다 헤일로에서 사람들을 죽일 때가 된 것 같아요 그리고 게임을 향상시키기 위해 과거의 분석 인 큰 데이터를 실제로 제공하는 동일한 파이프 라인에이를 연결합니다 그리고 나서 다시 프레젠테이션 작업에 도달 할 때까지 장기간 보관할 때와 동일한 결과를 얻습니다 그리고 당신이 여기에서 사용하는 도구들은 당신이이 처리면을 향할수록 더 커집니다

HD 통찰력을 통해 데이터 벽돌과 같은 것들을 보게 될 것입니다 DLS 나 DLA와 같은 것들을 보게 될 것입니다 당신이 그 공간에서 볼 수있는 많은 도구 인 sparcv 링크가 있습니다 Real quick 저는 모든 사람들이 cofco 나 eventhubs에 익숙하다면 파티션 소비자에 대해 조금 이야기하고 싶습니다 파티션 소비자 아키텍쳐가 eventhubs R에서 모두 중요한 것을 보았을 때 새로운 개념이되어서는 안됩니다

이 유형의 동물에는 사실상 가상 코 스 코 (Costco)의 주제 또는 eventhubs의 이벤트 허브라는 구성 요소가 있으며 그 안에는 해당 파티션이 데이터의 실제 저장소 인 파티션이 있습니다 그 데이터는 자연스런 순서로 존재하며 안정적이기 때문에 원하는대로 다시 읽을 수 있습니다 그리고 논리적 인 구성 인 주제 나 이벤트 제작자에게 보내면 생산자가 정말로 보내는 것입니다 eventhubs에서 더 이상의 조치를 취하지 않아도 Robin은 모든 파티션에서 데이터를 처리 할 것입니다 그리고 그것은 정말로 좋은 가용성을 제공 할 것입니다

정말 좋은 처리량을 제공 할 것입니다 모든 파티션을로드 밸런싱합니다 일반적으로 그 파티션은 별도의 머신에서 실행됩니다 따라서 카프카에서 볼 수있는 클라우드 서비스이므로 필히 볼 수있는 세부 사항은 아닙니다 이 파티션 로그에서 읽지 않으려면이 파티션 로그를 소비자 그룹에 연결하고 소비자 그룹을 통해 각 파티션에 연결하고 eventhubs와 커피는 소비자 그룹과 동일한 용어를 사용합니다

당신은 소비자 그룹을 거의 굶주린 사람처럼 생각할 수 있습니다 테이블에 들어가면 필터링 할 필요가 없습니다 전체 스트림을 읽고 싶다면 4 개의 파티션이 있어야합니다 각 파티션마다 하나씩 4 개의 독자가 있어야합니다 이 소비자 그룹을 그들이 연결될 때 읽고있는 모든 소비자와 연결합니다

지정 및 오프셋을 사용하여 스트림에서 어디서부터 읽기를 시작하길 원하는지, 그 파티션에서 어디서부터 앞으로 나오고 싶습니까? 이벤트 허브와 커피 모두를위한 멋진 기능은 여러 소비자 그룹을 보유 할 수있는 능력을 사용자 그룹에 많이 부여한다는 것입니다 많은 소비자 그룹에서 스트림의 여러 위치에서 서로 다른 독자를 가질 수 있습니다 이것은 매우 강력한 미래입니다이 기술은 더 넓은 생태계로 이동하면서 더 많은 독자를 추가 할 수있는 능력입니다 개인적으로 메시징 사람들이 일종의 pubsub 또는 publish 구독에 오랫동안 시간을 ​​보내지 않고서 개인적으로이 게시를 구독하지 않을 것입니다

AI는 그 이상의 것인지 알 수 없습니다 더 많은 이론적 인 질문이 있습니다 그러나 구독을 보았을 때 나는 vent grid 나 tipco EMS와 비슷한 것을 보았습니다 여러분이 출판에서 라우팅을하고있는 곳에서 모든 사람들이 전체 스트림을 읽고 있습니다 중대한

개념은 명심하십시오 다른 비유가 있습니다 여러분 중 일부는 제가 과거에 몇 번이나 얘기 한 것을 보았을 것입니다 그리고 나는 모두가 모든 사람이 아니라고 생각 합니다만,이 방에있는 사람들의 대부분은 나이가 들어서 이것이 무엇인지 알아볼 수 있어야한다고 생각합니다 누구든지이 사람이 내가 어렸을 때 이것들을 많이 가지고 있다는 것을 알았습니다 테이프가 어디서든 테이프에서 바로 재생할 수 있기 때문에 테이프가 멋지다 관심있는 테이프의 위치로 빨리 감기 또는 되감기를 한 다음 재생을 누릅니다 그리고 테이프 레코더로 레코드를 누르면 왼쪽과 오른쪽 채널을 동시에 레코딩하므로 2 개의 레코딩이 발생하므로 실제로는 별도의 정보이므로 오디오 카세트와 유추 할 수 있습니다 실제로는 다릅니다

클래식 락처럼 들으면 드럼이 한쪽에 있고 기타가 다른쪽에 있다는 사실을 듣게됩니다 실제로는 오디오 엔지니어링의 이유가 있습니다 어떤 점에서는 건너 뛰는 레코드가 포함되어 있지만 여전히 실제로 2 가지가 있음을 보여줍니다 거기에 채널? 기술적으로 4 개의 채널이 있습니다 그리고 스피커는 정보를 재생하고 각 측면과 이벤트 나 관련 정보가이 정보 나 카프카 주제와 같으며 파티션이라고도하는 정보가 정보를 재생한다는 것을 알고 있습니다

따라서 해당 채널은 동일한 똑같이 개념 유형을 구분할 수 있습니다 어떤 비유가 사람들이 테이프를 더 좋아하는지 또는 다른 사람이 좋아하는지? 아무도 OK라고하는 것을 모두 가져가는 것을 좋아하지 않습니다 나는 그것에 대해 물어야한다 그리고 내가 슬픈 것에 대해 이야기하고 싶은 것 중 하나가 대기열 너머로 이동하고있다 그래서 물줄기는 무엇이며 어떻게 Q와 다른지, 왜 우리는이 큰 물결을 만들지 않는가?

나는이 종류의 주위에 일종의 춤을 추는 것이지만, 서버 측 커서의 클라이언트 측 커서와 서버 측 커서의 차이점은 서버 측 커서가 Q에 대해 다음과 같은 메시지를 제공한다는 것입니다 그 메시지를 완료하고 사라집니다 로그에서 실제로 클라이언트 측 커서를 사용하고 있습니다 관심이있는 지점에서 연결하고 거기에서부터 읽으면 cofton eventhub가 클라이언트 측 커서를 제공합니다 그리고 그들은 둘 다 재생할 수 있습니다

이미 언급했는데, 새로운 소비자를 추가하여 어제의 데이터를 읽을 수 있고 파괴적이지 않기 때문에 매우 중요합니다 수평으로 수평 확장하는 사람 옆에있는이 사람을 싫어하는 사람은 경쟁 소비자를 사용하는 경우 파티션 소비자 모델에서 가장 중요한 것일까요? 내가 가장 유추 한 어쩌면 어쩌면 등록 선이 어제인지 또는 일요일인지 등을 생각하려고하는 것처럼 경쟁 선이 그 선에 서 있고 사용하는 사람은 한 명이지만 많이 사용한다 라인을 사용하여 파티션 소비자가되는 것이 더 빠릅니다 그렇다면 완벽한 것은 아니지만 가까운 것입니다 중요한 것은 그 파티션 소비자 모델에서 실제로 엄밀한 주문을 할 수 있다는 것인데, 그 이유는 여러 가지 이유 때문입니다

이 스케일 아웃 (scale out)을 할 때 스케일 아웃 (scale out) 방법에 대해 생각해보십시오 실제로 파티션을 원하는 독자의 수는 스트림을 읽는 머신 수에 원하는 파티션 수입니다 그리고 만약 당신이 당신의 생각을 처리하고 있다면 각 기계는 괜찮습니까? 파티션을 작성한 후에는 머신에서 사용하는 모든 데이터가 해당 파티션에 로컬해야합니다 더 많은 데이터 처리 머신을 얻기 위해 프로세스를 교차시켜야하는 경우 항상 느려지므로 이벤트 허브 나 커피 주제는 파티션 키를 사용합니다 내 이름처럼 빌어 먹을 것과 그 열쇠로 메시지에 태그를 붙이면 항상 그 파티션에 착륙하여 태그를 달았습니다 그런 다음 춤 데이터는 항상 파티션에 있고 SJ 상태는 파티션에도 있습니다

고정 된 순서로 거기에 같은 파티션 그런 식의 콜드 실행은 프로세스를 가로 지르거나 다른 시스템을 가로 질러 다른 데이터를 가져올 필요가 없으므로 큰 규모가되면 실제로 실제로 큰 도전이됩니다 그렇다면 오늘 사람들은 어떻게 스트리밍합니까? 가장 인기있는 3 가지 방법 중 하나입니다 사람들이 스트림을 보내려면 밴드 허브가 있고 실제로는 WS 카니 스 스트림이 있습니다 나는 로고를 넣을 수 없었습니다

왜냐하면 우리가 canisius를 사용하도록 허락 받았는지 모르니까요 당신이 그것을 보았을 때 흥미로운 플랫폼이었을 것입니다 그리고 나는이 모든 것들을 실제로 카프카의 중심지라고 말했습니다 더 비슷합니다 당신은 정말로 일종의 마이크로 배치 플랫폼이 아닌 스트리밍 플랫폼을 위해 설계되었습니다

소프트웨어가 호스팅되는 방식을 볼 때 좀 더 심층적 인 플랫폼을 살펴보십시오 qafqaz는 도구 세트로 멋지며 어디에서나 실행할 수있는 소프트웨어이지만 실행중인 소프트웨어이므로 오늘 전제 조건으로 kafka를 실행중인 경우 cofg on the premise 오늘은 구름 속에 있지 않습니다 멋지게 멋지게 이야기 할 것입니다 데이터 센터에서해야 할 많은 작업을 담당해야합니다 가상화 계층의 작업 능력에서 물리적 보안을 제공해야하는 사전 하드웨어와 같은 작업을해야합니다 이러한 작업을 수행해야합니다

그리고 위의 스택에 대한 책임이 있으므로 운영 체제 응용 프로그램에 대해 일반적으로 생각하는 것이 사용자와 사용자를위한 kafka 구성입니다 인프라 스트럭처 서비스로 전환함에 따라 우리는 실제로 그 일들을 멀리하고 있습니다 우리는 더 이상 물리적 인 데이터 센터 작업을 더 이상 할 필요가 없으며 더 많은 서비스를 제공 받기 위해 플랫폼에 도달하게됩니다 당신에게서 멀어지고 당신이 정말로 집중하고 있다는 것을 당신이 알고있는 것처럼 그것입니다 데이터 그 자체는 인프라가 아닌 실제 애플리케이션 데이터입니다

Real quick eventhubs로 스트리밍의 데모를 빨리 보여주고 싶습니다 8입니다 그래서 나는 컴퓨터를 실행하여 Azure 포털에 로그인했다 새로운 이벤트 허브를 만들고 싶다면 새로운 리소스도 만들 수있다 이벤트 허브

조만간 이것은 다시 올 것이다 나는 단지 기존의 집으로 갈 때 속일지도 모른다 하나 만들고 내가 여기에 올 때 나는이 이름을 약간의 이름으로 줄 수있다 여기서 공간 이름은 내가 만든 FQDNA 정규화 된 도메인 이름이다 당신이 생각할 수있는 DNS이다

주제가 생생하게 살아납니다 나는 새로운 무용을 말할 수있다 팬트 그리고 나는 무엇을 선택할 수 있습니다 QI 이걸 원할 것입니다

나는 표준 가격으로 갈 것이고, 이것이 당신의 가입이 어디에 있는지를 고를 것입니다 그리고 그곳에서 꽤 쉽습니다 실제로는 단지 기존 이벤트로 갈 것입니다 허브 지금 당장 있어요 그리고 내가 가지고있는 것 같은 이런 종류의 모습을 보여주세요

이것들과 여기에 당신은 멋진 대시 보드를 가지고 있습니다 만약 당신이이 모든 것들을 가지고 있다면 당신은 내가 여기에 여러 개의 이벤트 허브를 말했던 것처럼 가질 수 있습니다 지금 여기에 하나의 이벤트 허브가 있습니다 여기를 클릭하면 여기를 통해 약간의 트래픽이 보일 것입니다 나는 지금 당신에게 조금 더 많은 교통량을 보여줄 것입니다

그래서 이러한 것들이 표현할 때 eventhubs에서 송수신 할 때 우리는 매우 간단하고 실제로 재미있는 점은 카프카가 약간의 변경을 가하면 매우 간단하다는 것입니다 이벤트 허브로 보내는 것을 보았을 때이 제작자를 알고 있으며 이전 차트에서 본 소비자를 가졌다면 파티션 소비자에 대한 어려운 점은 실제로 모든 파티션에서 읽어야 할 책임이 있다는 것입니다 따라서 실제적으로 트레이드 오프가 있습니다 당신이 속도에서 얻는 것 사이에서? 그리고 확장 할 수있는 능력과 당신이 스트림을 다루는 데있어 책임을 다하고, 허브를 진보적으로 발전시키기 쉽게 여기에서 볼 수 있습니다 저는 클라이언트가있는 이벤트를 만들고 있습니다 연결 문자열에서 생성 된 클라이언트를 사용하여 루프에서 100 개의 메시지를 보내면이 isour

net 표준 클라이언트라는 사소한 간단한 예이므로 여기서는 100 개의 메시지를 보낼 핵심 핵심 응용 프로그램입니다 또한 이벤트 허브에서 읽는 쪽에서 우리는 4 년 전에 eventhub를 출시했을 때 원래 제작 한 고급 API를 실제로 만들었습니다 이벤트 프로세서 호스트 이벤트 프로세서 호스트는 읽기 책임이있는 에이전트입니다 모든 파티션에서 그리고 임대를 처리하여 하나의 VM 하나의 머신이 해당 파티션에서 읽고 있는지 확인하고 스트림을 통과 할 때 체크 포인트를 수행합니다 이것에 대한 멋진 점은 구현할 필요가있는 프로세서 호스트에 대한 인스턴스를 생성하는 것입니다

어떤 클래스가 내 프로세서인지 알려주고 있는데, 이것이 제가 구현 한 클래스입니다 인터페이스에는 4 가지 방법이 있습니다이 새로운 옷을 모두 비동기식으로 동기화 프로세스 오류를 열어 놓고 이벤트를 처리하도록 알려 드리겠습니다 그리고 저는 메시지를 여기에 올리면 메시지를 작성하여 꽤 단순해질 것입니다 상담을 시작하려면 백그라운드에서 첫 번째 창이 열리겠습니다

100 개의 이벤트와 이벤트 프로세서 호스트가이 다른 창에서 회전하고 있으며이를 읽은 다음 Check Point를 통해 확인할 수 있습니다 여기 내 코드 그것은 어떤 콜렉션을 얻었고 체크 포인트가되었으므로 여기서는 파티션이 아닌 곳의 오프셋을 저장합니다 그래서이 작업이 얼마나 쉬운 지와 얼마나 쉽게 우리가이 작업을 시도했는지에 대한 간단한 예제 일뿐입니다 멋진 점은 커피가 실제로 없어져서 프로세서 호 스터 소비자 API와 매우 흡사 한 고수준의 API를 구현한다는 것입니다

이 API는 이와 유사하며 진행중인 카페를 게시하는 것이 어떤 것인지 살펴 보는 것입니다 지금 카프카 물건 좀 보여줘 좋아, 경찰차 때문에 다행스럽게도 춤 추기 덕분에 경찰차에 그런 종류의 도구가 있기 때문에 그때처럼 추위를 쓸 필요가 없다 그래서 내가 할 일은 내가 시작하려고한다 당신의 골키퍼

앰버는 경찰관 차다 나는이 데모에서 소비자와 생산자 모두에게 물어볼 것이다 그래서 이것은 이것을 키퍼에게로 시작하는 것입니다 그리고 경찰차를 시작하십시오 그리고 저는 우리를 위해 cejkov Cochran 신청을 시작할 것입니다

그래서 이것은 자동차 컷 주제에서 내 주제 하나의 데이터를 읽으려고합니다 이후로 나는 아직 몇 가지 주제를 만들지 않았으므로 이것은 사람에 대한 주제를 만들 것입니다 그리고 그것은 기본 행동입니다 그래서 이제는 생산을 시작하여 내 주제 1에 데이터를 보내고 있습니다 그런 다음 100 번 메시지를 보내서 지금해야 할 일에 한 번, 200 번 돌아와야합니다

하지만 그렇게 할 것입니다 그래서 여기에 그것을 볼 수 있습니다 일종의 의무 1과 2 sokoke 실제로 그 덕분에 꽤 강력한 도구입니다 그 세 가지 응용 프로그램을 활성화하는 데 사용할 수있는 라이브러리에 내장 된 도구가 많이 있습니다 5 그래서 그는 kafika를 통해 보내는 샘플 데크가 실제로 커피 코드베이스로 배송 된 것을 보여주기 위해 데모를 보았습니다 그래서 그는 코드를 작성할 필요가 없다고 말했습니다

그리고 실제로 그것에 들어가서 정의가 빠져 나오면 제가 본 것과 똑같은 것을 당신이 볼 수있는 것과 똑같은 견본을 얻을 수 있습니다 여기에서 볼 수있는 것은 거의 똑같은 속성입니다 연결 속성에서 Object 그리고 나서이 프로듀서를 만들어서 4 번째 줄과 5 번째 줄 그리고 마지막 줄의 일종인데 거기에 for 루프가 있습니다이 루프는 비동기식으로 코드가 거의 똑같아 보이는 커피 주제로 보내집니다 둘 다 비동기 감각을 가지고 있습니다 즉, 물건이 일반적으로 작동하는 방식으로 작동하므로 개념적으로 이벤트 허브가 개념적으로 비슷하다는 것을 볼 수 있습니다

이벤트 허브는 작동 방식뿐만 아니라 인터페이스 방식도 비슷합니다 코드를 통해 그들과 함께 그리고 지금은 약간의 kafika coz 실행으로 돌아갈 수 있습니다 실제로 어디에서든지 실행할 수 있습니다 실제로 노트북에서 실행하고 있습니다

이 노트북에 설치된 클러스터에 명령에서 localhost가 있다는 것을 알 수 있습니다 그가 사용하고 있었고 당신이 구내에서 cofg를 실행할 때 이것은 당신이 카펫 클러스터를 설정하기 위해 취해야 할 단계입니다 하드웨어 풀이 있다면 그냥 훔칠 수 있습니다하지만 가지고 있지 않다면 일련의 배포 단계와 일련의 관리 단계로 구성됩니다 그리고 이러한 배치 단계 중 일부는 다시 이러한 것들 중 일부는 다른 것들보다 쉽습니다 물리적 네트워크는 정말로 열심히 있어야합니다 당신이 특별히 좋아하는 곳에서 무엇을하고 있는지 모르는 경우 패치를 자르면됩니다

케이블은 올바른 길이를 원하기 때문입니다 케이블상의 단계에 아무런주의를 기울이지 않고 자신의 네트워크 처리량을 위해 무엇을 할 것인지 이해하지 못하므로 재미를 보았습니다 Azure와 같은 것을 얻을 때 어떻게 도와 드릴 수 있습니까? 이봐, 너는 너 혼자서 뛰고있어 너는 훌륭하게 일하고있어하지만 너는 조금 더 쉬워지기를 바랄 수도있어 너를 줄 수있어 너를 움직이면 너는 그걸 더 쉽게 알 수있다

당신은 많은 것을 빼앗아 가고 있으므로 데이터 센터의 조달 및 물리적 측면을 위해 수행해야하는 모든 작업에 대해 더 이상 책임을지지 않습니다 이제는 사용하고 실행할 수 있습니다 시장에서 사용할 수있는 모든 것을 혼자서 할 수 있고 3 ~ 4 가지 다른 버전을 사용할 수 있거나 경쟁 업체를 포함한 공급 업체 버전을 통해 기침을 할 수 있습니다 따라서 가상 네트워크를 구성하고 다른 모든 작업을 수행해야하는 옵션이 있습니다 따라서 여기에서 무료 점심 식사를하는 것과 다르지는 않지만 많은 문제를 제거한 다음 관리 측면은 변경되지 않습니다

대단히 더 많은 하드웨어를 청취하려면 여전히로드 밸런싱을해야합니다 새 노드를 추가해야합니다 운영체제에 패치를 적용해야합니다 동물원에 앉아서 암호를 변경하고 보안과 같은 설정을해야합니다

어떻게 도전하지 않는지 안다면? 이제 HD 통찰력에 대해 알려 드리려고합니다 8 예 HD 통찰력으로 이러한 문제를 해결할 수있는 방법을 알려 드리겠습니다 대시 보드에서 대시 보드로 돌아와서 새로운 리소스를 만들 수 있습니다

또한 HD 통찰력 클러스터를 만듭니다 내가이 진정한 속을 빠르게 뛰어 넘은 다음, 이미 클러스터를 뛰어 넘을 것입니다 HD 통찰력은 Azure에서 우리의 호튼 웍스 (hortonworks) 데이터 플랫폼이 당신을 위해 많은 것을 관리하고 있다는 것입니다 그래서 그 목록에 여전히 남아있는 많은 문제를 해결하기위한 멋진 도구는 새 것처럼 끝낼 수있는 이름입니다

카프카 나는 철자에 대해 왜 신경 쓰는지 모르겠다 Piquett 구독 내가 원하는 것은 어떤 종류의 클러스터를 고를 것인가 HD 통찰력은 여러 클러스터 유형을 가지고 있습니다 실제로 여기에 와서 클러스터 유형으로 kafka를 선택합니다 Linux에서 볼 수 있으며 볼 수 있습니다

어느 버전의 카프카를 고를 수 있어요 그리고 나는 여기에서 선택할 수 있습니다 다음에 갈 것이고, 이제는 추가하는 것과 같은 작은 마법사를 통해 나를 걸을 것입니다 내가 원하는 사용자가 클러스터입니다 admin 기존 SSH 사용자를 만들거나 재사용 할 수 있습니까? 아프리카를 선택하고 내가 원하는 지역을 선택하십시오

다음을 클릭하십시오이 마법사는 입력 사항의 유효성을 검사하고 다음 단계를 안내해주기 때문에 다음 번에 발생할 클러스터 중 하나를 만듭니다 어떤 유형의 스토리지 계정을 내가 고르고 새로운 것을 사용하도록주의 할 것입니까? 구독에 다른 것이 무엇인지 모르겠습니다 과 이 저장소 계정은 실제로 클러스터의 메타 데이터만을위한 것이므로 카프카 데이터가 VMS의 디스크를 사용하는 저장소 계정에있는 것은 아니므로이 저장소가 실제로 수행하는 작업에 대해 혼동하지 마십시오

그리고 내가 이것을 통해 다음 단계를 클릭하면 사실상 멋진 정보를 얻을 수 있습니다 실제로 HD 통찰력을위한 앱 생태계가 있습니다 실제로 여기에 설치하려는 앱을 선택할 수는 있습니다 아무 것도하지 않기 때문에 아무 것도하지 않을 것입니다 내가 여기서 보여 주려는 점

하지만 여기서 커피가 얼마나 많은 작업자 노드를 클러스터에서 클러스터로 만들 것인지 말하면서 매우 흥미로운 곳이됩니다 기본값이 4가 될 것입니다 작업자 노드 당 얼마나 많은 디스크가 필요한지 말할 수 있습니다 따라서 많은 저장 공간이 필요합니다 또는 약간의 저장 장치가 필요합니까? 이것들은 1 테라 바이트의 디스크이며 작업자 노드 당입니다

내가 말할 수 있도록 그 머신의 크기를 선택할 수 있습니다 나는 여러분이 기본 DV 2를 알고 싶어합니다 저는 꽤 행복합니다 4 코어를 가지고 있습니다 그들은 14 기가를 가지고 있습니다

램 또는 이것을 8 코어 또는 원하는 기계 종류와 같이 더 크게 유지할 수 있으며 기본값으로 유지할 것입니다 사육사 노드의 헤드 노드에 대해서도 동일한 작업을 수행 할 수 있습니다 그러면 블레이드의이 작은 도구가이 클러스터에서 비용이 많이 드는 시간을 얼마나 보여줄지 알 수 있습니다 너 들어간다

그리고 여기에서 총 코어 사용량을 보여줍니다 다음 번에 몇 가지 다른 질문이 필요합니다 검증을 수행 할 것입니다 실제로 클러스터를 프로비저닝 할 때 원하는 스크립트를 실행할 수 있기 때문에 bash 스크립트를 실행할 수 있습니다 완료되면 클러스터에서 그리고 실제로이 지역에는 가상 네트워크를 선택할 수 있지만이 클러스터에 들어가기를 원하는 vineet을 선택할 수 있습니다

다음에이 모든 것이 지금 수행 될지를 알면 꽤 멋진 부분입니다 이 모든 입력을 검증하여 내가 관심있는 부분을 수정하게하십시오 한 사람이이 템플릿을 팔 템플릿과 매개 변수로 가져 와서 자동화 된 배포와 같이 만들 수 있으며 기침 클러스터를 이미 실행하고 있습니다 그래서 그냥 던져 버릴거야 그리고 당신이 이것을 준비한 후에 당신은 포털 HD HD 통찰력 포털에 와서 나는 여기에 내 HD 통찰력 클러스터를 볼 수있는 아주 멋진 물건을 얻을 난 내가 한판 승부 싶어 모든 중요한 메타 데이터를 볼 수 있습니다 그것은 URL이 무엇인지를 좋아합니다 얼마나 많은 노드가 여기에 있는지 알 수 있습니다

실제로 클러스터 대시 보드에 가서 Barre에서 열어 볼 수 있습니다 지금 내 클러 스터에서 무슨 일이 벌어지고 있는지 직접 볼 수 있습니다 문자 그대로 다음을 클릭해야합니다 다음에 가지고있는 것은 이것입니다 따라서 할 수있는 다른 일이 없으므로 드릴을 통해 커피를 볼 수있는 정상적인 대시 보드를 사용할 수 있습니다

이렇게하면 건강에 도움이 될 것입니다 실제로 많은 일을 절약 할 수 있습니다 당신은이 점에이 점이 매우 유용하고 실제로 유용한 도구이지만 프로비저닝 단계를 넘어서서 실제로 여기에 올 수 있고 클러스터 크기를 지나갈 수 있다는 것을 알 수 있습니다 규모 클러스터를 확장하여 클러스터를 운영하고 있습니다

이제 클러스터가 트래픽을 증가시킵니다 일단 사람들이 가치를보고 시작하면 스트리밍 파이프 라인과 관련이 있습니다 데이터를 반복해서 원하기 때문에 여기에 와서 클러스터를 실제로 확장 할 수 있습니다 말 그대로 더 많은 노드로, 나는 단지 내가 볼 수있는 더 많은 작업자 노드를 말합니다 6, 10 또는 많은 가입 기간을 갖게되면 저장 용량이 더 늘어나고 실제로 기존 클러스터에 배포 할 예정입니다

그것은 올해에 제가 좋아하는 작품 중 하나입니다 클러스터에서 관리를 실제로 수행하지 않아도 모든 것을 실현할 수 있습니다 실제로는 매우 가치가 있습니다 Azure에서 kafika를 실행하는 방법 그리고 이러한 모든 것들이 어떻게 추가되는지는 HD 통찰력을 사용할 때 물리적 구성 요소 또는 운영 체제 수준의 구성 요소에 대해 생각할 필요가 없다는 것을 확인하는 것입니다

그리고 kafka라는 의미에서 응용 프로그램 수준 응용 프로그램에 더 집중할 수 있으므로 파티션을 균형있게로드해야합니다 Costco를 사용하면 성장 또는 축소시기를 결정할 것입니다 암호를 돌리십시오 당신은 보안과 그런 것들을 돌볼 사람입니다 그래서 당신은 여전히 ​​당신이 당신 자신의 바이너리를 설치할 수있는 클러스터에 로그인 할 수있는 많은 통제권을 가지고 있습니다

그래서 당신은 다른 것들을 위해이 계산을 재사용 할 수 있습니다 많은 사람들에게 유용합니다 그런 다음 실제 네트워크를 구성 할 때 스트림 처리를 수행하는 경우 스택의 더 중요한 부분으로 포커스를 옮겼습니다 그렇게하지 않으면 엄청난 가치가 없습니다 그래서 사람들이 카프카에 대해 정말로 좋아하는 것 중 하나는 풍성한 풍부한 생태계를 보유하고 있다는 것입니다

실제로 사람들이 알고있는 대부분의 사람들은 당신이 scafa라는 것을 알고 허브와도 똑같이 말하고 싶지 않습니다 그들은 메시징 중개인 그 자체에 관심이있는 것이 아닙니다 마치 커피와 같은 일이 될 카프카에서 연결되어있는 것에 관심을 갖는 배관을 연결하는 배관 일뿐입니다 스트림 SM은 거울 제조 업체 coursepark 또는 knifey 같은 fling과 같은 다른 도구가 있어야합니다 그리고 이들은 당신이 너무 강력하게 그 생태계 주위에 무엇을 사용하는 카프카의 진정한 힘의 일종입니다 Qafqaz는 커다란 사용자 커뮤니티와 커다란 툴 생태계를 갖추고있어서 꽤 매력적이며 툴을 많이 좋아하기 때문에 미러 메이커에 대한 사용법이 상당히 많습니다

그리고 미러 제작자는 주제 사이에서 데이터를 복제 할 수있는 도구를 사용하므로 기침 클러스터가 어딘가의 창고 또는 어딘가에 제조 라인이나 무언가와 같은 텔레 메 트리를 수집하고있을 수도 있습니다 그 원격 측정법을 다른 곳에서 원한다면 데이터를 다른 곳으로 복사하고 싶습니다 그렇게하기 위해 설계된 미러 제작자에게 코드를 작성하고 싶지는 않습니다 그래서 허브와 스포크 데이터 수집에 유용합니다 나는 가지고있다

내가 태양 전지 패널이나 위젯을 생산하는 여러 곳의 사이트 공장 바닥에서 나오는 데이터에 대해 알고 싶습니다 실제로 모든 공장에서 수집 한 데이터를 다시 분석 할 수 있습니다 Microsoft의 내부에서이 작업을 수행하는 한 가지 방법은 원격 측정법이 Windows 나 사무실 또는 도구와 같은 것으로 생각되는 경우 랩톱과 전세계 어디에서나 컴퓨터에 배포되는 도구입니다 가능한 한 세계 곳곳에 알람 트리를 수집하지만, 제품이 현지화되어 있고 핵심 제품 중 하나이며 사용 데이터를 한 곳으로 모으기를 원하는 경우에도 제품 팀입니다

그 팀이 제품을 개선하고 무슨 일이 일어나고 있는지 알 수 있도록 허브 및 스포크 데이터 콜렉션 모델 미러 메이커는 코드를 실행하지 않고도 작업을 쉽게 수행 할 수 있으므로 데이터 백업 및 꽤 인기있는 아카이브 헤이, 유성이 내 데이터 센터에 닿으면이 스트림의 데이터를 다른 곳으로 보내고 싶다 그리고 마지막 하나는 데이터 배포를위한 것입니다이 미러 서버는 실제로 매우 멋지죠 왜냐하면 미러 메이커가 잠시 가까이에있을 것이기 때문입니다

그러나 실제로 한 클러스터에서 다른 클러스터로 읽는 중입니다 따라서 클러스터가 다른 조직에있을 수 있습니다 같은 장소가 될 필요가 없으며 다른 자격 증명을 사용할 수 있습니다 따라서 실제로는 액세스 권한이있는 소유의 커피 클러스터로 이동할 수 있습니다 따라서 데이터 배포 유형의 작업을해야 할 경우이 작업이 유용 할 수 있습니다

미러 메이커와 함께 염두에 두어야 할 한가지는 내결함성 메커니즘이 아니기 때문에 이것이 HA 유형의 내용을 제공하도록 설계되지 않았기 때문입니다 내 말은 내결함성 메커니즘이 아니라는 것입니다 주제의 오프셋이 서로 다릅니다 2 개의 클러스터 따라서 데이터는 동일하지만 오프셋은 차이가 나지 않는 대부분의 시간에서 차이가 있습니다

우리가이 코즈에 대해 정말 좋은 담보를 가지고 있기 때문에 모자라는 것은 매우 유용합니다 HD 통찰력 나는 tatian 페이지에 당신이 전제 카프카를 가지고 있을지도 모르는 하이브리드 cafcass 솔루션을 위해 미러 메이커를 사용하는 방법을 기록하고 클라우드 기반 처리를하고 싶다는 매우 멋진 문서를 작성했습니다 당신은 반드시 자신의 전제 커피를 없애고 싶지는 않습니다 대기 시간이나 그 밖의 무엇을 원하지 않는 이유가 있습니다

하지만 실제로 처리를하고있을 때 클라우드에 있기를 원할 수 있습니다 확장하고 버스트하고 리소스를 얻는 것이 더 쉽습니다 기회가 있으면 해당 문서를 살펴보십시오 따라서 커피의 힘은 실제로 생태계에 존재하며 핵심 이점이 있습니다 우리는 실제로 이벤트 허브의 핵심 기능인 많은 고급 기능을 보유하고 있으며 일부 기능이 다릅니다

그것은 우리가 그들을 볼 때 다른 사람들과 비슷합니다 매력적인 eventhubs 기능 중 일부는 나머지 여배우 스택과의 통합이므로 이벤트 분석기로 작업하는 이벤트 허브와 같은 것들은 Azure 기능과 잘 작동하는 이벤트 허브와 같은 것들이 있습니다 기능 팀이 몇 달 전에 썼던 멋진 블로그가 있습니다 작년 말이었습니다 eventhubs에서 나오는 기능에서 1 초 만에 10 만 개의 메시지를 처리 ​​할 수 ​​있다는 것은 서버 목록이 매우 멋지며 로직 앱이나 모니터 후에도 꽤 잘 확장됩니다

이것들은 atryn의 핵심 조각 일뿐입니다 이것은 이벤트 허브와 잘 작동합니다 클라우드에서 실행되도록 설계된 클라우드 고유 서비스입니다 우리가 클라우드로 옮겨 놓은 것이 아니라 Azure를 많이 사용하는 것과 같습니다 핵심 기능에 대해 설명하겠습니다

잠시 내가 SIR입니다 IP 필터링과 같은 나머지 작업에서는 vineet 암호화를 사용합니다이 나머지 모든 내용에 대해 이야기하겠습니다 첫 번째로 내가 캡처 한 것에 대해 이야기하고 싶습니다 일괄 처리에 대한 내 진정한 사랑을 되 찾는 이벤트 허브의 미래를 포착하십시오

나는 거기에서 약간 조바심을하고 있습니다 캡쳐가 자동으로 데이터를 저장 계정에 보내면 믿을만한 스트림에서 읽거나 스트림에서 읽지 않아도 실제로 쉽게 도전 할 수 있습니다 모든 것이 잘 진행되고있어 어려워 질 수 있습니다 일이 잘 진행되지 않고 캡처가 필요한 데이터의 아카이브 만 되돌리고 싶다면 일괄 처리 시나리오와 아카이브 시나리오를보다 효과적으로 처리하기 위해 만들어졌으며 바로 그 결과로 계속 진행될 것입니다 코드를 작성할 필요가 없으며 이렇게하기 위해 다른 서비스를 구성 할 필요가 없기 때문에 오버 헤드를 최소화합니다

매우 간단한 경험이므로 여기에서 우리는 실제로 배치를 사용할 수있게하려는 것입니다 같은 시간에 시간을 보내고 이것은 당신이 할 수있는 것과는 다른 접근법입니다 스트림을 전송하기 전에가 아니라 스트림을 착륙 한 후 신속하고 느린 길을 취하여 나중에 결정을 내린 한 곳으로 스트림을 보내고 변경하기가 쉽기 때문에 주로 그 길을 걸어야합니다 귀하의 cendres 게시자가 실시간으로 표시 되나요? 그렇다면 소비자는 이미 배치 된 배치 프로세스이므로 소비자가 바로 만나기가 훨씬 어려워 지므로 일괄 처리를 위해 기존 도구와 프로세스를 실제로 사용할 수 있습니다 스트리밍 데이터에서도 캡처가 어떻게 보이는지 매우 빠르게 살펴 봅니다

작동 원리는 1 년 된 친구에게 eventhubs가 있습니다 여기에 데이터 파티션이 있습니다 Azure BLOB 계정이나 80 LS 계정이 될 수있는 스토리지 계정을 제공하면 시간과 크기 창을 제공하고 메가 바이트 또는 분 여부와 상관없이 해당 창에서 첫 번째 창을 건드릴 수 있습니다 교차하는 각 파티션에 대해 파일을 쓰려고합니다 저장 계정을 사용하면 스트림에서 데이터를 보유하고있는 파일을 읽는 대신 스트림에 여전히 데이터가 남아 있습니다

실시간으로 스트림을 읽을 수는 있지만 이렇게하면 창 데이터를 얻는 방법을 선택할 수 있습니다 너는 그걸 원해? 파일의 이름을 지정하고 실제로 어떤 크기의 시간 단위로 파일을 쓸 것인지 원하는지 확인하십시오 캡처 용 UI이므로 시간과 크기면에서 슬라이더가 있다는 것을 알 수 있습니다 원하는 스토리지 공급자를 선택할 때 선택하십시오 그렇다면 너무 잘 볼 수는 없지만 맨 아래에 샘플 네이밍 형식에 대한 드롭 다운이 있음을 볼 수 있습니다

중괄호 사이의 부분은 이름 지정을 원하지 않기 때문에 매크로에 매크로가 필요합니다 충돌 하지만 원하는 순서대로 배치 할 수 있습니다이 방법으로 다른 텍스트를 넣을 수 있습니다 아래 예제에서와 같이 이름이 지정된 파일을 가져옵니다

그래서 캡처는 여러분이 할 수있는 클라우드에 데이터를 가져 오는 가장 쉬운 방법입니다 데이터에서 eventhub에 대한 HTTP 게시물을 집계하여 우리가 제공 한 저장소에 올려 놓으면 꽤 만족 스러울 것입니다 그리고 당신이 아직 시도하지 않는다면 다음 번에 해보십시오 조디가 그 측지학자를 위해 등재되어있는 것은 작년에 우리가 출하 한 기능이며 1462 일을 언급했습니다 나는이 직업을 갖기 전에 실제 업무를 수행 했었습니다

실제 업무의 한 부분은 내가 일한 회사가 운영하고 있으며, 누가해야하는지에 대한 책임을 계획하고있는 모든 소프트웨어에 대한 비즈니스 연속성을 확보하는 것이 었습니다 조직의 모든 비즈니스 연속성 요소가 너무 커서 운이 좋다는 것을 알지 못합니까? 그래서 우리가 GODR에 가지고있는 것은 할 수있는 능력이 아닙니다 Azure의 지역 간 재해 복구는 이전에 만든 DNS 이름 공간과 같은 별칭이라는 개념을 만들었지 만 영역이 없기 때문에 글로벌입니다 그런 다음 주 영역과 네임 스페이스 중 기본 영역과 보조 영역을 선택하고 여기에서 수행 할 작업은 모든 트래픽을 기본 영역으로 보내 모든 데이터가 한 곳으로 이동하게하는 것입니다 별칭을 사용하면 정규화 된 도메인 이름을 사용할 수 있습니다

그리고 우리는 그 메타 데이터를 복사하고 있습니다 메타 데이터를 보조 파일에 복사하는 것이 너무 좋지 않습니다 카프카에서 주제를 만들면 이벤트 허브에서 해당 이벤트를 만들 것입니다 해당 정책에 대한 자격 증명을 만드는 경우 2 년째되었습니다 두 번째로 전체 아이디어를 복사 할 소비자 그룹을 만들면 2 개 지역 간의 2 개 사이트간에 토폴로지가 동일하다는 정책이 있다고 생각해 봅시다

선택했다 이제 팔 명령을 통해 장애 조치를 실행하면 이전 기본 교총을 퇴장시켜 기본 교대로 보조 교대를 추진하고 트래픽이 리디렉션되므로 토요일 밤에 잠자기 상태로 돌아가 월요일에 수정하는 것에 대해 걱정할 수 있습니다 실제 업무를 수행했을 때 가장 큰 걱정거리 중 하나는 언제나 어떻게 일할 필요가 없으며 가능한 한 많이 물건을 계속 작동시킬 수 있습니까? 이 프로세스를 완료 한 후에도 원래의 모든 기본 데이터가 그대로 남아 있습니다 모든 데이터가 여전히 남아 있습니다 특히 지진이나 지역의 데이터가 오프라인 일 때 시간은 이제 돌아 왔고, 아니면 하루 뒤였습니다

그리고 당신이 다시 수리 할 준비가되었을 때 당신은 똑같은 별칭을 가지고 똑같은 설정을하고 새로운 보조를 추가하면 원하는 지역으로 복구 할 수 있습니다 그래서 우리가 당신에게주는 것은 사용자가 관리하는 ardio입니다 회복 시간 목표 따라서이 arteo는 5 분이므로 장애가 발생할 수 있으며 uswest가 바다에 빠졌을지라도 5 분의 중단 시간으로 처리를 계속할 수 있습니다 지진 대에 살면서 나는 그 말을 그만둬야한다고 생각합니다 우리는 다른 멋진 고급 기능을 가지고 있습니다

예, 재미있는 일이 아닙니다 이번 여름에 출하 예정인 사람 중 하나가 실제로 eventhub를 지원하는 venetz입니다 venetz는 사람들이 개별 Azure 리소스에 대한 네트워크 액세스를 확보하도록 매우 유명합니다 따라서 모든 가상 시스템을 anavae net에 연결 한 다음 이벤트 허브와 같은 항목에 액세스 권한을 부여한 다음 해당 가상 머신에서만 해당 가상 허브와 해당 이벤트 허브와 통신 할 수 있으며 그렇지 않은 경우 멋진 인터넷 트래픽이 아닙니다 마찬가지로 devinettes는 동시에 IP 필터링을 제공했습니다

수락 정책과 거부 정책을 모두 사용하면 이러한 공용 IPS 또는이 IPS가이 이벤트 허브 또는 얼음과 분명히 대화하기 위해 이러한 정책을 원한다고 말할 수 있습니다 이러한 경쟁자는 원치 않을 수 있습니다 그들의 IPS 이야기를 원한다 자원 관리 서비스 정체성과 당신은 노엄에 익숙해지기를 원한다

나는 많은 사람들이 지금까지 MSI가 실제로 가지고있는 것에 대한 나의 과거의 경험에서 가장 흥분되는 것들 중 하나라고 들었을 것이라고 생각한다 우리의 모든 장난감 및 이벤트 허브에서 이것은 잘 보입니다 지금 미리보기에 있습니다 VM scale set 또는와 같이 리소스 nashtar에 대한 ID를 만들어 보겠습니다 응용 프로그램 서비스와 그 응용 프로그램 서비스 또는 그 MSS는 귀하의 eventhubs에 대한 액세스 권한을 부여 할 수있는 ID를 가지고 있으며 더 이상 연결 문자열을 사용할 필요가 없습니다

연결 문자열에서 coz 연결 관리가 특히 고통 스럽습니다 당신이 정말로 요구 사항이 많은지 알고 있다면 Azure Active Directory를 실제 리소스에 대한 ID 공급자로 사용하는 것입니다 미리보기에서 또 하나는 우리의 백 월드 기반의 액세스 제어입니다 미리보기에서 피드백을 찾고있는 경우이 두 가지 모두 Active Directory 사용자 계정을 기반으로 사용자에게 액세스 권한을 부여하여 사용자에게 다시 부여하지 않아도됩니다 연결 문자열 및 포털과 서비스 자체에서 볼 수 있었던 내용을 제한 할 수 있습니다

그리고 마지막으로 저는 그의 자동차에 대해 정말 행복합니다 이것은 해결하기 위해 고안된 미래입니다 실제로 오랜 기간 동안 가장 큰 지원 문제였습니다 이벤트 허브를 만들면이 저렴한 비용으로 유지하려고했습니다 우리는 당신에게 자원의 가장 작은 패키지를 제공합니다

비용이 적기 때문에 1 분에 처리량 단위에 대해 이야기하겠습니다 스트리밍 플랫폼으로 시작할 때 초당 1 메가 바이트와 같은 이점을 제공합니다 시작하는 스트리밍 플랫폼은 작지만 시작점이 적거나 종류가 다릅니다 타입 물건 그리고 시간이 지나면 사용량은 증가하지만 초당 메가 바이트가됩니다

실제로는 84 기가와 같이 현재 상당히 많은 양의 데이터가 사용되고 있으며 결국에는 사용량이 많을수록 서버가 바쁜 것처럼 보이기 시작합니다 이봐 이 이벤트 허브를 사용하여 3 개월 만에 문제가 발생하는 이유는 무엇입니까? 무엇이 발생 했나요? 구매 한 용량이 부족하여 처리량 단위를 늘리는 정책 기반 기능을 사용하도록 설정했기 때문입니까? 자동으로 그것은 당신이 내가 실제 이벤트 허브를 위해 일찍부터 가지고 있었기 때문에 당신이 말 그대로 박스를 클릭했고 당신은 얼마나 커질지를 말합니다 그래서 당신은 잘 말할 수있게 통제했습니다

아마도 내가 할 수있는 일을 알고 있습니다 10 초당 메가 바이트하지만 만약 내가 그 이상을하고있다 누군가가 잘못한 일을했는데 누군가가 실수로 돈을 내고 싶지 않아서 정책 기반 통제를 받았다면이 일은 아무 것도하지 않고 단지 성장하지만, 시작하면 당신이 가장 적은 것을 지불 할 수 있도록 최저 수준 왜냐하면 당신은 많이 사용하지 않으므로 한 번에 1MB를 자동으로 증가시켜야합니다 우리는 실제로 빠르게 보입니다

좋아요 좋아 보이네요 좋아요 우리가 eventhub를 판매하는 방법 우리가 정말로 당신이 표준을보고있을 때

대부분의 사람들이 표준에서 시작합니다 우리가 생각해야 할 2 가지가 있습니다 처리량의 두 번째에있는 개미입니다 단위 처리량 단위가 더 많습니다

매초마다 메가 바이트의 종류를 생각할 수있는 자연스러운 유형이므로 초당 메가 바이트의 예약량을 처리하는 각 처리량 단위는 초 당 1 메가 바이트 또는 1,000 이벤트를 초당 3 센트 씩 보내고 그 다음에 보낸 메시지는 있지만 읽은 메시지는 보내지 않습니다 그리고 그것들은 백만 메시지 당 28 센트입니다 가격 책정 방식을 살펴보면 클라우드의 모든 시나리오에 대해 하나의 모델이 모두 4 개가 될 것이라고 생각하지 않기 때문에 여기에 2 개의 모델이 있습니다 특히 lucertola 스파 스 유스 케이스 대 매우 큰 유스 케이스를 볼 때 그렇습니다

따라서 우리는 분홍색으로 소비 기반 가격 책정을하고 있습니다 우리는 당신이 당신의 추가 기능을 사용하는 것에 대해 지불하고있는 분홍색으로 파란색으로 자원 기반 가격 책정을하고 있습니다 단일 고정 비용 스케일링 나는 단위를 넣어서 언급했는데, 이것들은 당신이 얼마나 많은 시간을 가졌는지 예약하고있는 것들입니다 이것들은 네임 스페이스에있는 모든 이벤트 허브에서 네임 스페이스가 넓으며, 자동 팽창이 적을수록 우리는 너를 벗어날 때 너를 조종 할 것이다

내가 사람들에게 밴 허브가 있다는 사실을 명심하기를 바란다는 점은 우리가 정말로 이걸 조금이라도 저의 목표로 삼아 매우 저렴하다는 것입니다 그리고 처리량 단위가 당신에게 드는 비용을 보았을 때 시간당 3 센트였습니다 72 센트였습니다 일 1 킬로바이트 메시지이고 백만 달러당 2

8 센트 인 242 달러를 지불하면 그 86000000 메시지로 두 번째 메시지를 1,000 개 보낼 수 있습니다 그래서이 모델에서 하루에 314 달러의 잠깐 지연과 3 배 복제로 84 기가 바이트의 데이터가 선형 적으로 확장됩니다 나는 86000000을 가지고 있지 않습니다

저는 현재 억 달러가 넘는 10 억 개의 이벤트를 37 달러에 할 수 있습니다 그래서 1 테라 바이트의 1 초 미만의 3 배 복제 된 데이터는 더 저렴하고 완벽하게 관리되는 서비스를 찾을 수있는 곳이라면 어디서나 사용하지 않으면 불쾌감을 느끼지 않을 것이고 성장할 것입니다 이것은 다른 멋진 부분입니다 따라서 우리는 클라우드 경험을 통해 이벤트 ubs를보다 효과적으로 활용할 수있는 많은 멋진 기능을 구축했습니다 그러나 카프카의 장점과 이벤트 허브의 이점을 취해보다 자연스러운 방법으로 함께 가져갈 수 있다면이 두 가지를 결합 할 수 있다면 어떨까요? 당신이하고있는 일을 선택할 필요가 없는데 조각을 함께 섞을 수 있습니까? 그리고 그것은 우리가 다음 섹션에서 이야기 할 내용을 소개하고자합니다

마지막 섹션은 커피 생태계에 도움이되는 것입니다 이것은 우리가 켜 놓은 것입니다 이미 포털에서 볼 수 있습니다 이는 클러스터와는 다른 방식으로 kafika를 제안하고 10 호환 프로토콜과 호환되는 카프카 (kafka)를 제안하는 방법에 대한 아이디어입니다

eventhubs 상단에 eventhubs를 실행하고 그것의 상단에 커피를위한 프로토콜 머리가 오늘 미리보기에있어 당신이 표준 eventhubs에서 사용할 수 있도록 아주 작은 규모로 작동하고 매우 큰 규모로 작동합니다 서부 미국과 동부에서 사용할 수 있습니다 지금 포털에서 내가 실제로 포털을 보여 주었을 때 포털을 만들 수 있습니다 지난 몇 시간 동안 새로운 것이있는 확인란이 있었기 때문입니다 그래서 제가 연습했을 때 오늘 아침에 없었습니다

그리고 나는 그것을 통해 멋지게 지냈다 그래서 나는 잘 모르겠다 연결 문자열을 바꾸는 것만으로 기존의 커피 응용 프로그램을 사용할 수 있으며, 사람들이 생각하는 것에 대한 피드백을 정말로 원한다고 생각하는 것을 보여줄 수있다 이 모델에 대해서는 약간 다릅니다 다른 누구보다도 cofco를 제공하려고 노력하고 있습니다

SJ는 eventhub와 함께 kafka 응용 프로그램을 사용하는 것에 대한 최종 데모를 진행할 것입니다 네가 포털 웹 사이트라는 것을 보여 주겠다 기침 기침이나 적 공간에 대해 말하면 어떻게 할 수 있겠는가? 그렇다면 웹 사이트를 당길 빈도가 낮다면 공간의 이벤트를 만들 수있다 그것을 클릭하면? 앤 이 시점에서 일종의 quickplace는 venom 네임 스페이스를 가져다가 볼 수있는대로 소개 할 것입니다

Do not는 여기를 클릭하면 모든 경찰차에서 참여할 수 있습니다 그러면 XA를이 두 개의 다른 서쪽 년과 부활절을 훔칠 수있을 것입니다 그렇기 때문에 오늘 우리는이 지역을 2 곳으로 나누었습니까? 기능을 사용할 수 있으며 더 많은 지역을 추가 할 계획이라면 가장 가까운 지역을 구축 할 수 있습니다 자, 이제 이전의 데모에서 더 나빠진 경찰에게 다시 돌아가 봅시다 컵 컵 클라이언트 응용 프로그램을 사용하는 방법을 보여 드렸습니다

지금은 지역 경찰차와 이야기하고 있습니다 그래서 이제는 내가 할 일을 destemmers가 할 것입니다 응용 프로그램을 그대로 사용하십시오 그리고 나서 혜택 서비스가 내 로컬 경찰차와 통화하는 것과 이야기하기 위해 응용 프로그램을 구성 할 예정입니다 그래서 지역 보험료를 내셔야합니다

너는 내가 필요 없다고 말했다 그래서 여기에서 볼 수 있듯이, 여러분은 여러분의 코드에서 여러분의 컵 애플리케이션을 위해 수정해야 할 몇 가지 것들을 보게 될 것입니다 그래서 만약 당신이 명령 행을 살펴 본다면 앞의 예제에서 부트 스트랩을 처음으로 확인하게 될 것입니다 내가 한 일은 전기 였고 여기에서 보면 로컬 경찰에있는 오버라이더 지정 localhost를 보았습니다 더 가까이에

그럼 이제이 경우 페널티 서비스에 대해 이야기 할 것입니다 이것은 내 네임 스페이스 전체 DNS 이름 보고서 번호 9093이 될 것입니다 그러면 내 애플리케이션 Justin을 구성해야합니다 나의 가까운 가까운 경우에 나는 단지 그것이 우리가 지방의 기계를 말하지 않았던 누구나 이어도라고 말했다 그러나 지금 이것이 서비스 imagale와 말할 예정이게되는 이래로 나는 공부할 필요가있을 것이다

그래서 나는 설정하는 방법을 보여줄 것이다 설정 그래서이 설정 아버지가 내 클라이언트 응용 프로그램에서 볼 수있는대로 사용하려고합니다 당신은 단지 당신이 portocale이라고 생각하는 것입니다 이것이 좋은 것입니다

우리가 여기에 아무것도 추가하지 않는 어플리케이션 기능입니다 우리는 단지 클라이언트와 서비스 간의 보안 전송 보안 통신을 가능하게합니다 그래서 당신은 오늘 남서부의 sessel을 지원합니다 그리고 여러분은 그것이 비행기라고 여기기 만합니다 그리고 여러분은 보통 ID와 암호 사용자 ID와 같은 몇 가지를 여기에 지정해야 할 것입니다

연결 문자열은 미래에도 일정합니다 우리는 재해가이 달러 연결 문자열 인 QB를 지원할 수도 있습니다 그럴만 한 달러의 astrocam 일 것입니다 그런 다음 암호를 말하십시오 예를 들어 풀 웹 사이트 가장자리에서이 연결 문자열을 가져옵니다

여기에서이 에지 풀로 이동하면됩니다 그럼 여기서 뒤로 물러나 봅시다 그래서 이것은 제가 만든 몇 가지 이름 공간이 아닙니다이 정책을 클릭하면 액세스 정책을 깍을 수 있습니다 그러면이 현관에서 연결 문자열을 가져올 수 있으므로 카펫에서 이것을 클릭 할 수 있습니다

이 혼란 파일에 돈을 지불하면 필요한 모든 작업을 수행 할 수 있으므로이 시점에서 포스트 트립 서버를 원격 위치로 변경 한 다음 여기에서 보안을 구성하여 여기에서 응용 프로그램을 실행해야합니다 그래서 내가 너 한테 머무를거야 나는 단지 내 주제 하나에 대해 이야기 할 것입니다 나는 구름 속에서 주제를 만들지 않았습니다 우리가하는 일은 서비스에 연결하는 고객이 그들이해야 할 필요가 없다면 그렇게 만들 수 있습니다

경찰이 오늘 그걸 알아 냈어 그래서 저는 이것을 주제로 여기에서 시작하려고합니다 그래서 그것은 내 이름이 우주라는 것과 똑같은 것이 었습니다 그래서 신선한 주제로 진행되고 있기 때문에 여기서는 아무 일도 일어나지 않기 때문에 클라이언트 응용 프로그램을 시작할 것입니다 뭔가를 보내려면

여기에 입력 해 봅시다 여보세요 여기에 확인해 보겠습니다 그러면 연결 문자열에서 몇 가지 변경된 내용으로 경찰차 응용 프로그램을 사용하기 때문에 기존의 복사 응용 프로그램을 사용하여 서버를 작동시킬 수 있습니다 Silvius 내 생각에 그건 정말 대단한 것 아닌가? 그래, 이건 단순한 일종의 일이야

만약 내가 기침이 내 자신의 전성기 또는 심지어 구름으로 진행된다고 말하면 나는이 코컷 오다반 집에서 내 데이터를 옮기라고 말하고 싶다 그렇다면 어떻게 알 수 있을까? 제작자와 그것이 얼마나 유용한지를 보여줍니다 그래서 저는 그 커피 메이커를 사용하여 로컬 경찰의 데이터를 혜택 서비스에 더 가까이 복제 할 것입니다 그래서 시도해보십시오 그래서 나는이 qapco를 다시 시작해야 할 것이다

나는 지역 카프카를 사용할 것이다 그래서 나는 여기서 계속 지켜 볼거야 그리고이 경찰차입니다 그래서 그래서 그것은 더 조용하게 만들지 않을지도 모릅니다

2 학문은이 경우에 연간 소비자 설정입니다 kafkis는 내 컴퓨터에 실려 있습니다 그래서 가까운 카펫 색상을 사용하려고합니다 미안 해요, 당신은 코쿤 커머셜 프로퍼티를 노래 할 수 있습니다 제가 여기선 아무 것도 수정할 수는 없지만 당신이 궁금해 할 때를 대비해 보여줄 수는 있습니다

이 일종의 연구 그래서 난 그냥 내 로컬 카프카입니다 localhost를 사용하고 있습니다 그리고 제작자 쪽에서는 서버 부팅을 포함하여 완전한 보안 정보를 제공해야하는 혜택 서비스 팀과 이야기를 나눌 것입니다 구성을 살펴 보겠습니다 이 버스 서버가 내 서버가 될 것입니다 제가 서비스를 제공하고 나서이 클라이언트에서 간단한 콘솔 데모를 보았을 때 우리는 똑같이 만들었습니다

그래서 이것을 다시 시작해 봅시다 그래서 나는 그 지역 경찰이 그에게 게시했다고 말했을 것이고 나는 그 말을 시작할 것입니다 여기 내 고객이지만 이번에는 내 주제에있는 다른 주제를 사용할 것입니다 그래서 저는 시작할 것입니다 그리고 이것은 다시 그는 신선한 주제입니다

여기에 아무것도 없으며 또한이 경찰차 제작자를 시작할 것입니다 그러나 이번에는 당신보다 더 많은 데이터가 필요합니다 좀 더 화가 되길 원했기 때문에 Cup Cup 퍼포먼스 프로듀서 도구를 사용하게 될 것입니다 그리고 정의가 여기에서 실행되도록 지정합니다 즉, 초당 5:30 피트라고 말하면서 지역별로 더 자세히 말하도록합니다

Jenner는 초당이 부분 메시지를 전달합니다 이제이 minimig를 시작할 것입니다 단지 트래픽을 복제하는 것입니다 그래서 나는 화제의 이름을 너무 길게 지정했기 때문에 나는 그것을 좋아하는 것으로 보냈습니다 좋아요, 그래서 내 주제는 아닙니다

나는 지금 그것을 보낼 것입니다 그래서 저는 처음부터 데이터를 얻는 것을 좋아해서 데이터가 전송되는 것을 보았고 소비자가이 서비스 날짜로부터 데이터를 읽도록했기 때문에 경찰관 클라이언트는 시계 설정으로 기존 공개 애플리케이션을 사용하는 서비스 이벤트 이제는 이런 일이 일어나고 있습니다 저는 모퉁이 다리에 무엇이 있는지 궁금해합니다 예를 들어 지방 경찰 차량에 대해 궁금합니다

소비자 그룹에 관한 현재 상황은 어디에 있습니까? 그래서 제가 할 일은 단지 사용의 종류를 말할 것입니다 공구를 가진 구리 소비자 그냥 렉스를 얻는다 고합시다 그래서 나는이 일을 지역 kutka를 사기 위해 실행하고 있습니다 당신이 알고있는 것과 똑같이 소비자 그룹을 만들어서 확인 만 할 수 있습니다

그래서 그것은 확인을 보여줍니다 그래서 마지막으로 28400 X ice 10이 나오므로 소비자는 판매를 읽고 있습니다 374 그래서 너와 똑같은 일을하려고한다 여기에 낮잠 서비스 인 원격 서비스 그래서 나는 최소한의 일을하게 될 것입니다

그래서 나는 여기서 한 가지 질문을 할 것입니다 여기 사라가 보자 지금이 상태가 이상한 동안 나는이 클라이언트를 여기에서 시작하려고합니다 내가 멈 추면 마치 모든 데이터가 잘려서 실행을 멈출 수 있습니다 그리고 나서 저는 여기에 산드라처럼 들릴지도 모른다고 말할 수 있습니다

그런 다음 데이터를 다시 가져와 AI가이 작업을 수천 번 보냈을 것처럼 계속 반복 할 수 있다고 생각합니다 좋아, 시도해 보자 심지어 하나가 23 멈추자 그래서 이것은 기존의 모든 도구를 사용하여 멋진 방법입니다

하나님 께 감사하지 마십시오 그래서 우리는이 coz에 대해 매우 만족합니다 다운로드하지 않은 모든 카프카 도구를 사용하고 있거나 아무것도 제작하지 않은 비공식 빌드를 사용하면 현재의 이벤트 허브에서 사용할 수있는 일반적인 카프카 물건입니다 이걸로 우리의 철학을 알고 있습니다 이 경험을 당신이 원하는 도구를 쉽게 선택할 수 있도록하려면 eventhubs와 kafka 우리 친구들이 있기 때문입니다

있었습니까? 그래, 내가 조금씩 건너 뛰었을지도 모르겠다는 것을 명심해야 할 다른 것은 여기서 아셔가 필요한 모든 옵션을 제공 할 것이므로 실제로 어떻게해야하는지 지금 당장 말할 필요가 없다는 것입니다 당신이 멋지다 Prem에서 그것을 사용하는 것이 행복하다면 kafika를 사용하십시오 그리고 하이브리드에서 그것을 사용하고 싶다면 우리는 당신을위한 해결책을 가지고 있습니다 IS에서 관리 클러스터로 실행하고 싶다면 과거에 실행하고 싶다면 카프카를 실행하고 싶다면 분명 도움이 될 것입니다 우리가 할 수있는 것은 카프카뿐입니다

우리는 모든 점에서이 모든 것이 asherahs에 의해 뒷받침됩니다 준수 인증 보안 및 가용성은 이렇게 말했습니다 카프카에 관심이 있다면 HD 통계 또는 iOS를 사용해 보거나 데이터를 스트리밍하는 것이 쉽습니다 와 더불어

프로토콜에는 이벤트 허브가 있었으며 조금 시간이 지나면 질문을받을 것이라고 생각하는 내용을 알려줍니다 Q & A 슬라이드는 Sheamus에 대한 질문이 아닙니다 그것은 저를위한 과민 한 주제 지금이다 그래서 우리는 저것을 건너 뛸 것이다 그러나 나는 cinco tamayo 및 cinco tamayo가 나의 4 년 일 기념일이기 때문에 나가이 사진을 할 것이라는 점을 생각했다 그래서 어떤 질문든지 그래, 모든 기능이 있습니다 커피와 함께하는 모든 작업은 주제에 대한 백 롤입니다

청중에게이 사람을 심은 것은 아니지만 그렇습니다 캡처와 같은 모든 작업이 실제로 프로토콜 변환을 수행하므로 카프카로 작문하고 다음과 같은 것들을 읽을 수 있습니다 기능 또는 스트림 애널리틱스 또는 로직 애플리케이션 모두에 적용됩니다 Arbec의 평화에 그것은 당신을 위해 우리 becas를 사용하는 사용자가 MSI를위한 더 많은 사용자이기 때문에 우리가 geata Messi를 아직 사용하지 못했기 때문에 작동 할 것입니다 그래서 우리는 그것이 어떻게 작동 할 것인지를 100 % 확신하지는 않지만 결국 중요한 일을 할 것입니다

그것을 사사에 넣어야 해 그래서 sesca는 kafka에서 사용하는 인증 프로토콜을 사용합니다 먼저 사람들이 경찰 커플러의 이익을 얻는 것과 같은 시간에 동시에 도움을 얻을 수 있는지 확인하는 것입니다 그래, 그게 대단한거야 커피 큰 문제 야 그래서 내가 마지막 슬라이드라고 말할 때마다 고마워

중앙 아메리카 중앙에서 사용할 수 있을지 고맙다는 말을 잊어 버렸어 네 맞아 맞아 잡았다 어떤 종류의 성능 상쇄는 이벤트 소스에 대해 커피 클라이언트를 실행하는 경우 얻을 수 있습니까? 당신은 coffa를 관리하지 않습니다

트릭을 통해 트레이드 포인트를 얻었습니까? 오레곤 전진 지점에서 항상 트레이드 오프를하고 있습니까? 당신은 항상 트레이드 오프를하고 있습니다 내가 가장 많이하는 트레이드 오프는 실제로 현재로서는 휘발성 메시징을 지원하지 않는다는 것입니다 그래서 우리는 항상 당신의 데이터를 3 배 복제 할 것이고 카프카에서는 복제가 선택 사항이되어서 오늘날 휘발성이되지 않도록하는 것이 당신의 제작과의 주요 거래입니다 그러나 이는 우리가 귀하의 데이터를 잃지 않을 것임을 의미합니다 그것에 대한 질문은 라인에 대한 연구를하고 있었고 최대 파티션은 32 개 였으므로 표준 모델에서 전용 이벤트 허브에 대해 너무 많이 말하지 않았습니다

더 많은 사용 파일 지원 티켓이 필요하다면 처리량 단위와 파티션을 늘릴 것이지만 실제로 미쳐 가고 싶다면 최대 32 개가 필요합니다 우리는 실제적으로 특정 규모에서 전용 모델을 가지고 있습니다 일반적으로 약 50 처리량 단위입니다 초당 50MB입니다 실제로 처리량 단위를 모두 지불하지 않아도되므로 일반적으로 전용 클러스터로가는 것이 비용 효과적입니다

단지 값을 치르고 따라서 메시지를 얻지 못하면 백만 분당 28 센트의 비용이 들지만 꽤 빠르지 만 초당 10 만분의 1이라는 점은 꽤 빠르지 만 반대로 무관심한 경우에는 100 원을 원할 경우 비용을 지불하지 않아도됩니다 전 100 대 이상의 파티션을 사용 했으므로 시스템의 이론적 인 스케일링은 LinkedIn처럼 coz가 중요한 모든 kafika임을 알 수있었습니다 이론적으로 이것은 처리량 수준까지 확장 될 수 있습니까? 이벤트 프로토콜을위한 eventhubs에 대한 의미는 전체 사건에 대한 이벤트였습니다

그래서 우리가 2014 년 Halo에서 언급 한 Halo가 어떻게 120 만회 하나의 메시지를 통해 초당 메시지 수? 좋습니다 이제 우리는 과거입니다 그렇습니다 우리는 OK 감사 이후 실제로 향상되었습니다 컨플릭트 스키마 레지스트리는이 프로토콜을 통해서도이를 사용할 수 있습니다

또는 이벤트 허브가 스키마 관리를 자체적으로 가지고 있기 때문에 좋은 문제입니다 컨 플루 런스 에코 시스템은 기업용 도구가 많기 때문입니다 ? After와 당신은 충돌로부터 그러한 도구들을 구입할 것입니다 그래서 당신이 라이선스를 가지고 있다면 우리가 알지 못하는 그러한 도구들을 사용할 수 있을지는 모르겠지만 아마도 그것들과 이벤트 허브를 사용할 수 있습니다 메시지 브로커 예, 나는 그 스키마 레지스트리를 믿는다

나는 그들이 오픈 소스라고 생각했다 그래, 네가 할 수있을 것 같아하지만 그게 실제로 브로커 그 자체에 있다고 나는 믿지 않는다 나는 그것이 설탕이라고 생각한다 나는 100 % 확신 할 수 없다

나는 또한 아니다 물론 남아 있지만 우리는 고객이 아니므로 오늘 가지고있는 모든 기능을 활용할 수 있습니다 예 스트림에 필드를 추가 할 때 생산자 입장에서 스키마 관리를하는 데 도움이됩니다 아 그래요 우리가 eventhubs에서하는 한 가지는 그것입니다 kafka와는 약간 다른 점이 있습니다 우리의 메시지에는 항상 QP의 기본 프로토콜이 있으므로 머리글에 대한 맵이 있습니다

헤더에 원하는 값을 입력 할 수 있습니다 대개 자신의 스키마 항목을 등록하십시오 그래, 그건 당신이 메시지 자체를 가지고 그 머리글을 가지고 있지 않은 슈퍼 공통 incofer이야 스키마 레지스트리는 스키마에서 생산자의 메시지를 스탬핑하고 있습니다 좋은 질문

그래서 demirel 제조사의 문제는 오프사이드가 잘못 정렬 될 수 있도록 오프셋 된 것이 아니라는 점입니다 Jody는 소비자가 장애 조치를 수행하는 문제를 해결했습니다 네가 오늘 중단 한 곳에서 곧 자동으로 올 수 있겠 니? 오늘 argeo darwitz GA 지금은 토픽 자체의 데이터가 아닙니다 주제 자체 일 뿐이므로 오프셋이 다를 것입니다 우리가 말했던 것입니다

그렇습니다 데이터 복제를 구축하고 있습니다 실제로는 동일한 오프셋을 갖지만, 아직 수행하지 않은 작업입니다 우리가 작업하고있는 작업 일뿐입니다 2 개의 다른 클러스터에서 동일한 주제가 있습니까? 또한 kalkin에 대한 두 번째 질문은 7 일 이상 동안주의를 기울였습니다

그러나 6 일까지 상처를 입었다는 것을 알고 있습니다 그래서 이것은 내가 좋아하는 질문이므로 어떤 계획 이니, 어떻게 7 일 이상주의를 기울였습니까? 나의 푸시 백은 이것이 정말 좋은 생각인지 확신 할 수 없다는 것입니다 1 초당 1 메가 바이트를 언급했기 때문에 2 주 만에 84 기가의 데이터를 얻었습니다 12 테라 바이트의 데이터가 있습니다

당신은 12 테라 바이트의 데이터를 읽어야합니다 그리고 그것은 많은 처리가 필요합니다 작은 물줄기를 따라 잡는 것이 어려울 것입니다 그래서 큰 물줄기를 잡을 때, 당신이 초당 50 또는 100 메가 바이트를하고 있다면 2 주를 얻었습니다

당신이 따라 잡을 지 확신하지 못합니다 특히 더 많은 시간을 생산한다면, 실제로 그 기능을 구현 한 이유는 6 개월 전으로 돌아가서 데이터를 살펴보고 싶다면 정책으로 실제로 작업을 캡처 할 수 있다는 것입니다 Azure blob 스토리지의 평생 정책 저장소 계정을 저장소위원회의 전역 캡처 파일에 자동으로 적용 할 수 있기 때문에이 컨테이너의 모든 항목은 6 개월이 지나면 사라져서 변경할 수 없도록 해당 항목을 표시 할 수 있습니다 떨어져 그래서 나는 아마도 더 많은 것을 포착 할 것입니다

사람들은 이벤트 소싱 패턴을 위해 이것을 가져옵니다 이벤트 소싱은 당신의 스케일까지 나의 경험에서 정말 멋집니다 그것은 한 가지 더 질문하는 것을 유감스럽게 생각하고있었습니다 그래서 Cal은 우리가 실제로 변경 한 kaftar에서 무제한 메시지 크기와 심지어 hummus를 254 킬로바이트로 가지고 있으므로 arkoff가 기본값을 모두 수행합니다 kafka 클라이언트가 1 메가 바이트를 할 수있게하고 우리가 제한적으로 가게하지 못하게합니다

사람들이 원하는 크기를보고 있습니다 메가 바이트 단위 일 수도 있습니다 메시지가 아닌 파일을보고있는 지점까지입니다 확실하지 않다 스트림에서 사람들이 실제로 그렇게해야하는 방법은 이미지를 가리키는 클레임 ​​확인과 같이 이미지를 넣는 비용이 많이 드는 곳이며 블롭 저장 장치와 같은 값싼 것에 클레임 확인을하는 것이 더 좋은 패턴 일 수 있습니까? 좋은 질문에 감사드립니다

Kiden 다시 필요 년 잘 그들이 할 수 그래, 그래서 우리는이 기침 자동차 이벤트 허브가 정말 우리가 시간을 가지고 스트리밍 데이터에 대한 이해를 알고있다 전제 관계형 데이터베이스와 마찬가지로 사례를 사용하지 않고 데이터를 온 프레미스에서 코랄 (corral)로 이동하기 위해 거의 실시간으로 처리하기를 원하는 모든 트랜잭션을 처리해야합니다 예, 최악의 경우는 기침이라고합니다 허브를 말하면 좋지 않을 것입니다 그렇지 않으면 실제로 몇 가지 CDC 변경 데이터 캡처 도구가 있습니다

오늘은 그 중 하나가 바로 내 머리 꼭대기에서 떨어져 있다는 것을 알게됩니다 SQL 기반의 오라클과 다른 인스턴스와의 CDC를 수행하기위한 전송 메커니즘으로 cofco 또는 eventhubs를 사용합니다 실제로 상당히 일반적입니다 CDC에 대해 생각하고있는이 CD CD를 제안하게되어 기쁘게 생각합니다 그리고 우리는 오라클에 대한 CDC 커넥터가 많이 있습니다

SQL 서버에 대한 오픈 소스가 없었습니다 불행히도 우리는 상업용으로 가고 있습니다 예를 들어 스트림과 같은 솔루션입니다 잭슨이 죽는 것을 보았습니다 슬라이더를 빠르게 사랑할 수있게되었습니다

빨리 스트리밍 해보세요 당신은 당신이 지금 당장은 알지만, 가격이 비싸기 때문에 마이크로 소프트는 당신이 알고있는 CDC 커넥터를 제공 할 것입니다 내 세계는 메시징 공간입니다 나는 과거입니다 나는 내가 편안함 영역 밖에있어, 그렇게 말할 수는 없지만 데이터 부츠에 들러서 멈춰야합니다

거기에있는 누군가를 찾아서 대답하십시오 또한 다른 종류의 질문이 있거나 다른 기존 데이터 소스를 사용하는 것과 같았습니다 필자가 알고있는 바로 그 파일은 마치 기존 응용 프로그램처럼 도시 유형이 없습니다 무엇을 당신이 그에게 항상 파일 시스템을 위해 실시간으로 할 수 있다고 확신시키고 싶습니까? 더 일반적으로 당신의 데이터 팩토리 같은 것을 보게 될 것입니다 내가 스트리밍에 관해 이야기 한 것은 알고 있지만 트윈스 스트리밍은 네이티브 일괄 처리 였지만 스트리밍 데이터 팩토리를 통해 모든 일이 진행되는 것을 원하지는 않습니다

클라우드에서 SSIS와 같을 수 있도록 만들어졌으며 많은 경험이 있습니다 저녁 식사를 마친다 그것은 끔찍한 오랜 시간과 날짜입니다 15 분 정도 지나면 15 분 정도 지나면 고주파수 공장이 가동됩니다 좋은 소식은 우리가 다른 팀 중 하나와 함께 작업하는 공장 팀에게 이벤트 그 팀이 있다는 것입니다

그래서 재미있는 것들이있을 것입니다 오케이 OK 감사합니다 우리는 실제로 2:30과 함께 CDC를 구현 한 매우 유사한 유스 케이스를 가지고 있으며 주요 소스에 있으며 우리는 pio에서 2018 년 말에 HD 통찰력 버전의 카프카를 보았습니다 HD 통찰력을 제공 한 후이 제품이 어떤 영향을 미쳤는지 당신의 사람들의 추천과 종류가 될 것입니다

그렇다면 카프카를 편안하게 마시면 좋은 생각입니까? 그리고 당신은 모든 일을하기 싫은 일을하고 싶지 않습니다 HD 통찰력은 당신에게 모든 것들을 할 수 있지만 자신 만의 바이너리를 설치할 수있는 클러스터를 제공 할 수있는 훌륭한 도구입니다 그 일을 할 수있는 능력이 없다면 그 집단을 책임 져야합니다 나는 조금주의 해야겠다하지만 그 기능이 있다면 특히 HD 통찰력이 premru niepce에서 실행하는 것보다 훨씬 쉽습니다

그래서 당신이 eventhubs와 같은 것을 볼 때 매우 좋은 솔루션입니다 캔트 자신이 수행 할 수없는 다른 일을 할 수없는 바이너리를 설치하십시오 항아리 변경이나 코드 변경과 같은 구체적인 수준을 낮추십시오 따라서 이벤트 센터보다 커피를 필요로하는 경우 커피를 사용하기에 적합한 방식이 아닙니다

하지만 좀 더 작은 것을 원한다면 전체 클러스터 아니면 좋은 시작과 센서 프로토콜 호환이 가능하기 때문에 eventhubs에서 HD 통찰력으로 전환 할 수 있습니다 그래도 괜찮습니다 감사합니다 제 질문은 당신이 원한다면 우리가 평등하고 비 SQL 데이터베이스에 가지고있는 것과 유사합니다

그리고 우리는 그것을 내부를 사용하여 headspace로 옮깁니다 또 다른 도전은 우리가 약 2 또는 3:30 토끼의 자료에서 H 기반 데이터베이스를보고 싶을 때 송아지 자동차에서 우리가 할 수있는 일괄 경로라는 것입니다 그래, 지금은 네가 줄을 잇는 때가있다 때로는 일괄 처리를하는 것보다 때로는 더 좋을 때가있다 때로는 스트리밍을하기 위해 etail을하는 것이 더 나을 때가 있는데, 그것이 나아질 때가되면 너는 네가 좋아하지 않는 시간이다

반드시 1 년 또는 1 개월의 데이터를 취하여 실시간으로 펌프를 가동하고 싶습니다 파이프 라인 또는 그렇게 당신이 실시간으로 또는 거의 실시간으로 당신이 예, 예, 그래, 실제로 내 경력에서 만든 실수가 오, 그럼 그냥이 실시간으로 물건을 구축 말을하지 않았을 배치 etl을 사용하여 데이터를 볼 수 있습니다 우리는 처음에는 큰 밀어를 할 것입니다 그리고 모든 것이 시작되어서 담배를 피우고 넘어 지므로 두 번째 질문에서 우선 순위 대기열의 개념이 우선 순위 주제가됩니다 현재 cofco norvan 허브 중 어느 것도 우선 순위가 없습니다 IBM MQ 또는 MSMQ와 같은 환경에서 일반적으로 찾을 수있는 미래입니다

또는 우선 순위 지정을 위해 라우팅하는 데 사용하는 경우 서비스 버스에 어느 정도 영향을 미칠 수 있으므로 이러한 브로커 중 누구도 그렇게하지 않습니다 그리고 미안한 사람들을 추가 할 계획이 없습니다 카프카 팀이 이번에 우선 순위를 추가 할 계획이 아니라고 생각합니다 고마워요 진짜 빨리 모든 사람들이 귀하의 평점을 기입 해 주시기 바랍니다

귀하가 좋아하지 않는다면 세션이 마음에 든다면 특히 중요합니다 HD 통찰력 커피에서 우리가 직면 한 문제 중 하나는 주제 보안 뿐이라고 다른 사용자를 기반으로 우리의 등을 사용하여 잠글 수 없다는 것입니다 프리미엄 클러스터 유형 또는 고급 보안 클러스터 유형이 있다고 생각했습니다 당신은 내가 실제로 그 머리 꼭대기에서 그 대답을 모른다는 것을 알고 있습니다 또한 그 부분은 kafka 자체에서보다 효율적인 인증 모델을 위해 발생하는 스트리밍 작업에 의존한다는 것을 알고 있습니다

부스에서 우리를 만나러 오시면 미안합니다 T PMS 중 하나를 들고 더 많은 것을 말할 수 있습니다 좋아, 그걸로 우리는 5 분 남았 어 죄송합니다, 고마워요

Streaming Big Data on Azure with HDInsight Kafka, Storm and Spark – BRK3320

>> 우리 모두 우리는 우리가 파티를 기다리는 동안 스트리밍

우리는 오늘 스마트 스트리밍으로 큰 데이터를 스트리밍하는 방법을 배웁니다 단지 궁금해서, 우리 중 얼마나 많은 사람들이 카프카에 대해 들어 봤습니까? 우리 중 얼마나 많은 사람들이 커프 카 클러스터를 시도 했습니까? 얼마나 많은 사람들이 불꽃 놀이를 했습니까? 배지 또는 대화식이 아닌? 두 명 정도 큰 우리가 이야기하기 전에 스트리밍 파이프 라인은 왜 우리가 하나를 만들고 비즈니스 사례를 해결합니다 따라서 초당 수백만 개의 광고와 사용자 검색을 처리합니다

그리고 그들은 그들의 웹 사이트에 서비스를 제공합니다 그들은이 요구 사항을 어디에 그들은 이들을 처리해야 할뿐만 아니라 둘째, 그들은 60 초 이내에 그들을 처리 할 것입니다 그들은 크기에 대한 엄격한 요구 사항을 가지고 있었고 초당 이벤트 그들이 가지고 있었기 때문에 그들은 커프카를 가졌다 그걸 돕는 금전적 규제에도 불구하고 금융 및 금융 거래를 처리했기 때문에 규정 준수 문제 민감한 데이터

그들은 규모를 원했다 커프카 (Cuffka) 및 스마트 스트리밍과 같은 기술 그들은 오픈 소스를 준수 할 수있었습니다 시나리오를 만들기 위해서 이것이 그 모양입니다

그래서 그들은 실시간으로 데이터를 가지고 키워드를 사용하여, 새로운 광고 캠페인을 실시간으로 생성하므로 소셜 미디어 사이트에서 데이터를 가져 와서 이제 트렌드를 파악하고 새로운 광고 캠페인을 생성하고 이러한 광고 캠페인의 성공과 더 많은 광고 캠페인 재개 이로 인해 막대한 비용 절감 및 사용 가능 광고와 관련된 시나리오 365 그래서 그들은 처리 중입니다 텔레 메 트리, 당신이 클릭하고있는 오프라인과 이것도 있습니다

들어오는 공유 지점 문서에서 내 분석이라고하는 기능으로 목표 및 더 많은 사람들과 상호 작용 한 사람들은 조직에서이 데이터를 모두 처리하고 있습니다 사용자가 할 수있는 실시간 및 서비스 제공 더 생산적이며 엄격한 요구 사항이 있습니다 문서가 민감하기 때문에 규정 준수 따라서 사용자는이를 스크럽하고 준수해야합니다 하늘빛, 그들은 스트리밍을 사용하여 열 수 있습니다

소스 가용성 떨어지는 표면을 긁는 다 대다수의 사용 사례와 주요 사례 중 하나 사기를 탐지합니다 우리가 그 거래를 잡을 수 있다면 특정 시간 내에 사용자에게 알릴 수 있습니다 그 거래에 대해 뭔가 할 수 있습니다

주식과 비슷한 생성 및 금융 재고 그건 당신이 실제 당국에 경고 할 수 있다면 시간은 당신이 그것에 대항 행동을 취할 수 있습니다 또 다른 것은 실시간 추천이며 우리는보고 있습니다 이러한 권장 사항은 해당 사이트에서 검색하고 서비스하는 모든 주요 단어 그 (것)들 대 그들 대 실시간으로 배치되는 대 무엇 어제 도망 쳤어 실시간 스트리밍을위한 또 다른 광대 한 영역은 iot 시나리오와 이것은 비행기로부터의 모든 것입니다 그리고 그들은 볼 수있었습니다

건물의 데이터 및 데이터가 센서와 그들은 모니터하고 어디에서 이해할 수있었습니다 그들은 더 이상 전기를 사용하지 않아야합니다 데이터를 처리함으로써 많은 비용을 절감 할 수있었습니다 그 시나리오는 다음과 같이 확장 될 수 있습니다 거기에 비용 절감을위한 쇼핑몰과 경기장

azure가 함께 작업 한 주요 사용 사례 중 하나 Iot은 연결된 자동차 플랫폼이었습니다 누가 도요타를 운전합니까? 도요타를 운전하는 사람을 누가 알겠습니까? 그것은 우리 중 절반 정도입니다 마이크로 소프트는 도요타는 푸른 하늘에 그들의 연결된 자동차 플랫폼을 구축 할 수 있습니다 다시 말하지만, 수백만 대의 자동차에서 데이터가 유입되는 경우가 있습니다 특정 지역에서 수백만 대의 자동차가 사용되고 있습니다

센서 데이터에서 클라우드로 대용량 메시지를 전송합니다 우리는 그것을 실시간으로 처리해야만합니다 따라서 연결된 자동차를 만드는 몇 가지 유스 케이스가있을 수 있습니다 플랫폼 그들 중 한 명은 보험에 들기 때문에 돈을 지불합니다

여기 메트로 마일이나 진보적 인 스냅 샷에 대해 들어 본 사람이 있습니까? 몇 사람 메트로 마일 또는 프로그레시브 스냅 샷은 보험 비용을 지불하는 보험입니다 얼마나 많이 운전했는지, 얼마나 잘 운전했는지에 따라 결정됩니다 예를 들어, 메트로 마일로 전환하기 전에 나는 큰 내 보험 회사와 내 자동차 보험 회사 자동차를 사용하지 않아도 보험료는 한 달에 130 달러였습니다 지금 그들은 나에게 1 마일을 준다

그래서 내가 차를 사용하고 싶을 때 나는 내 자동차 보험에 청구하지 않습니다 이제 내 보험은 40 달러 야 페니를 지불하지 않아도됩니다 그들은 운전 패턴을 봅니다

1 ~ 2 시간 동안 당신은 잘 달렸습니다 그들은 당신에게 할인을 줄 것입니다 다른 것들은 조금 벌점이있을 수 있지만 시간이 지남에 따라 그들은 당신에게 당신이 이끄는 방식에 맞는 가격을 제공합니다 안전 운전 경험을 향상시키고 도움을줍니다 보험 비용을 줄입니다

>> 또 다른 사례는보다 안전한 텔레마이 틱스입니다 도요타와 아파치 폭풍과 푸른 하늘을 보았습니다 여기가 브레이크에서 데이터를 조정하는 곳입니다 분석 할 센서와 가속도계 및 대시 보드 그들이 유지 보수를 위해 당신에게 경고해야 할 때 예를 들어, 정의 데이터뿐만 아니라 특정 측정 기준이 특정 임계 값에 도달하면 맞춤 추천을 사용하십시오

나는 많은 속도 그 때문에, 나는 브레이크를 더 밟았다 Toyota와이 보험 회사는 저와 그들은 정적 프로파일 데이터를 가지고 있습니다 데이터가 실시간으로 유입되면서 데이터를 말하자면, 로저의 브레이크는 한계점에 있지 않습니다 그에게 경고해야하지만, 그가 브레이크를 밟았 기 때문에 우리는 평균적인 사용량보다 빨리 그를 조심해서 차를 타십시오

가게에 마지막으로, 고급 탐색 시나리오 고급 자동화 운전 경험 이것이 단지 표면을 긁어 내고 플랫폼 가동 및 자동 운전 시나리오 또한 데이터를 보유하고있을뿐 아니라 풍부한 데이터를 제공 할 수 있습니다 카드 내의 고객을위한 경험 당신은 차를 운전하지 않는 코르 타나를 상상할 수 있습니다 최대 스마트 문서 및 스마트 회의를 제공 할 수 있습니다

회의가 다음에 있어야하는 차 그렇다면 자동차가 어떤 모습일까요? 도요타 규모 다음과 같은 것을보세요 높은 수준으로 데이터가 모두 자동차 그들은 강한 4g와 5g을 가지고 있습니다

대규모 ISP와 파트너 관계를 맺은 네트워크 장치 제공자는 매우 빠른 속도로 데이터를 전송합니다 이 하늘빛 서비스는 다음에 스마트로드를 수행합니다 이러한 이벤트를 시작하고 위에 배포 된 스트리밍을 시작하십시오 여러 지역의 푸른 하늘과 파이프 라인이 전개되었습니다 이러한 이벤트가 처리되면 이벤트가 기록됩니다

배치 분석 사용 사례의 장기 보관은 여기에서 데이터 또는 파이프를 사용하여 프로 그레시브 또는 다른 보험 회사 또는 파이프를 그들이 얼마나 많은 자동차를 모니터링하는지 대시 보드 주어진 지역이 현재 활동적 일 때, 얼마나 많은 사람들이 현장 감각을 가지고 있습니까? 그리고 우리는 그것을 실시간으로 모니터링 할 것입니다 >> 연결된 자동차 아키텍처는 훌륭합니다 실제로 당신에게 실제 연결을 보여줄 수 있다면 실제로 더 좋을까요? 오늘 여기의 차와이 정확한 파이프 라인? 누가 그것을보고 싶어할까요? 시원한 우리 모두 그는 통찰력 엔지니어링 팀 출신이고 약속드립니다

그는 가장 안전한 드라이버 중 하나이며 우리가 한 일은 우리가했습니다 실제로 갔고, 실제 차를 형성했다 – 실제로, 나는 되돌아 가게 될 것이다 이 >> 고마워 >> 여기 프로그램에 가속도계가 있습니다

브레이크 센서 또는 연료 센서를 시뮬레이션 한 것으로 가정 데이터를 보내는 차 안에서 우리는 블루투스 모듈을 프로그래밍했다 여기는 4g 및 5g 네트워크 카드를 모방 한 것으로되어 있습니다 그건 내 노트북에 데이터를 보내는 것입니다 게이트웨이에서 데이터를 보내십시오

Kofka 구름과 바늘에 이동으로 차가 올라간다 그리고 내려 그렇게 – 우리 중 누가 너의 관심을 끌고 싶을지도 모르지 이 차입니다 여기 하단에서 볼 수 있듯이 메시지가 있습니다

kofka에 그리고 오른쪽에 흐르는 설계도는 어디에 블루투스 센서가 kofka에 데이터를 보내고 클라우드와 이것이 오픈 소스 기술의 힘입니다 대시 보드를 사용하고 내 동물원 보관 인을 프로그래밍 할 수 있습니다 모든 것이 효과가있었습니다 차가 돌아왔다 그리고 그가 무대에서 위아래로 움직이는 것을 볼 수 있습니다

그것은 가속도계입니다 다시 한 번 중요한 것은 여기서 가속도계가 움직이는 이유는 데이터가 아니기 때문입니다 차에서 랩톱으로 곧장오고 있습니다 랩톱에서 클라우드로, 대시 보드가오고 있습니다 클라우드에서, 그리고 당신이 그것을 본다면 그것은 내 랩탑이 죽었다

코프카의 한계가 아닙니다 그리고 그것은 초당 수백만 개의 이벤트를 만들 수 있습니다 데이터가 차가워지면 자동차가 움직이는 순간을 실시간으로 확인하십시오 >> 고마워 [박수] >> 그리고 이것은 반복 가능합니다

블로그가 있지만 우리는 오늘 파이프 라인을 배포하는 방법을 확인하십시오 실행 및 실행 이것은 오늘 30 분, 40 분을 필요로했다 이것으로 다시 전환합니다 이거 야? 다섯

이제는 우리가 당신에 대해 정말 흥분 했어 오늘 건물은 여기 나머지 부분에 대한 의제가 있습니다 약 1 시간 동안 세션 먼저, 왜 우리가 대규모 데이터 분석을위한 실시간 시나리오 구축 그리고 나서 우리는 파이프 라인을 무너 뜨릴 것이고, 왜 스트리밍 파이프 라인을 설계해야합니까? 그런 다음 오픈 소스 기술의 변화, 기업이 당면 할 과제 기술을 배치해야합니다 우리는 사실상의 오픈 소스 엔진 인 Kofka와 그 내부 그리고 kofka 내부의 hd가 어떻게 도움이되는지, 그리고 그것을 사용하는 것의 이점

다음으로는 스트리밍 시스템을 예측하는 데 필요한 리소스와 당신은 그것에 대한 계산을하고 마지막으로 파이프 라인과 실제의 예를 살펴보십시오 kofka 및 스마트 스트리밍을 통한 유스 케이스 스트리밍 이 중 하나는 질문을 위해 1 ~ 2 분 동안 멈출 것입니다 너는 무엇이있어 거기 있으면 내가 여기서 멈출거야 지금까지 질문

>> 의문의 여지가 없습니까? 계속해라 >> 지금 물어봐야할까요? >> 지금 물어볼 수 있습니다 >> 그래서 그 시나리오에서 당신은 차를 가지고 있고, 전개하고 100,000 대가 넘는 자동차에 가지고 있습니까? 싱글 kofka >> Toyotas와 같은 것이 1 억 대가되는 곳입니다 직사각형에 넣으려고 시도하고 다른 걸쳐 sharted 지역

재난 복구 시나리오 및 확장 성 시나리오 >> 백만 단위로 확장 할 수 있습니다 둘째, 견고성 관점에서이를 수행하기를 원하지 않을 수도 있습니다 큰 한 가지 더 묻습니다

어서 [들리지 않는 질문] >> 질문은 내가 간다 푸른 하늘을 감추고 싶다 [들리지 않는 질문] 폭풍과의 상충 관계를 다룰 것입니다 하늘색 분석에 대한 자세한 내용은 다루지 않겠지 만, 둘 사이의 절충점을 다루십시오 괜찮아

스트림 파이프 라인을 만드는 방법에 대해 이야기하기에 앞서 큰 데이터 내에서 어디에 살고 있는지 이야기 해 봅시다 건축물 세 가지 단계와 당신 데이터를 섭취 할 장소를 마련하십시오 iot 기기에서 오는 스트리밍 데이터와 야간에 대량 데이터베이스가 될 수 있습니다 이 데이터를 수집 한 후에는 이를 처리하면 배치 분석과 계산 및 모든 심층 학습 모델 및 실시간 분석 또는 스마트 스트리밍

일단 우리가 청소를 했어 데이터와 계산 및 데이터의 결과, 우리는 그러한 데이터를 일종의 빠른 속도로 내 보내야합니다 프레젠테이션 및 이것은 후속 DB 또는 속편 데이터가 될 수 있습니다 실시간으로 원하는 창고 또는 핫 스토어 응용 프로그램을 매우 빠르게 볼 수 있습니다 이게 보이는 데요 푸른 하늘과 같이 매우 바쁜 곳

오늘 우리가 집중해야 할 것은 배치 분석입니다 당신이 etl과 깊은 학습과 강력한 작업을 수행하는 곳 기계 모델 및 대화 형 분석 데이터 과학자 >> 우리는 이것을하지 않을 것입니다 오늘날의 아키텍처와 매우 똑똑한 사람들은 학사 인이 부분을 두 부분으로 나눠서 아키텍처라고합니다 우리 중 얼마나 많은 사람들이 멋진 건축가에 대해 들었다 반 정도는

>> 그것은 단순히 당신이 할 수 있다는 것을 의미합니다 이 파이프 라인을 두 개의 다른 레이어로 스핀합니다 스피드 레이어와 다른 레이어에 더 집중해야합니다 학사를위한 세션과 그 세션에 대한 참조를 가리 키도록하겠습니다 속도 레이어를 두 번 클릭하여 내가 전에 가지고 있었던 질문들, 푸른 하늘이 흐르고있다

Litecs 및 푸른 하늘 이벤트 허브 및 아마존 친선 및 아파치 폭풍과 코프카 그것은 매우 혼잡스럽고 우리는 어떻게해야합니까? 이러한 기술을 이해하고 있습니까? >> 그래서 건축가와 함께 스트리밍 파이프 라인과 사무실 365 규모, 당신은 매우 높은 비율로 데이터가 유입됩니다 >> 어떤 종류의 기술이 필요합니다 이것을 put을 통해 처리하고 hdfs와 hadoop을 처리합니다 규모

이 섭취를 완료하면 이러한 이벤트를 처리하려면 이벤트 처리 단위가 필요하며 실시간 분석 및 변환 작업을 수행하고 그것들은 상점, 응용 프로그램 또는 대시 보드 >> 그래서 나는 앞서 가서 시도했다 이벤트 처리 및 이벤트로 분류하려면 처리 버킷, 그리고 사실은 apache kofka와 아마존 운동과 수백만 가지의 이러한 기술은 내가 얻을 수 있습니다 사람이 할 수있는 일에 대한 자세한 내용으로, 그러나 대부분이 스트리밍 분석을 시작하는 경우 이러한 기술은 사용자가해야 할 일을 수행 할 것이며 더 많은 방문이 있으며 포괄적 인 목록이 아닙니다 >>이 모양은 다음과 같습니다

하늘빛? 섭취는 푸른 색이다 두 가지 섭취 기술로서 이벤트 허브 및 Apache kofka 그리고 처리를 위해 하늘색 분석과 아파치는 새로운 기술을 강타합니다 hd 통찰력에 오픈 소스 기술을 가진 Apache kofka 우리는이 기술에 대한 세션을 우리는 앞으로 나아 간다 그래서 몇 가지 개념이 있습니다 평가를 시작하기 전에 검토하고 싶을 것입니다

유스 케이스를위한 스트리밍 기술 이러한 범위는 슬라이딩 창, 텀블링 창 또는 윈도 호핑과 시맨틱 스 전달 사람들이 한번 쯤 용납받을 수 있음을 의미합니다 나는이 스트리밍의 모든 세부 사항을 다루지 않을 것이다 개념 거기에 아주 좋은 링크가 있습니다

이것들을 더 이해하고 싶다면 슬라이드의 바닥 자세한 내용은, 그러나 당신이 큰 데이터를 설계 할 때 솔루션 당신이하고 싶은 처리의 종류를 이해하고 싶습니다 텀블링 창을 원하십니까? 그리고 어떤 종류의 프로세싱이 필요합니까? 당신은 적어도 한 번 이상을 원합니다 이러한 기술을 평가할 기술 이러한 모든 일을 할 수 있고 이러한 개발을 시작할 수 있습니다 기술, 우리가 본 대부분의 기술 이전 슬라이드는 이러한 모든 작업을 수행 할 수 있으며 대부분의 작업을 수행 할 수 있습니다 슬라이딩 및 텀블링 및 호핑 창 및 할 수 없다면 그들 스스로가

그들은 함께 할 수 있습니다 다른 기술 비율의 확장 결정 포인트 란 무엇인가? 선택을 원하는지 이해할 필요가 있습니다 스트리밍 기술 내가 무엇을하고 코프 카를 태우고 폭풍이 불었고 왼쪽에 열려 있지 않은 열 및 기타 기술 오른쪽에 kinesis 및 스트림 분석과 같은 출처 그리고 성능 확장 성을 기준으로합니다

그럼이 모델들을 비교해 보겠습니다 오픈 소스 기술의 경우, 이것들을 클러스터에 배치하면 우아한 것이 있습니다 규모의 모델은 모든 구성을 소유하고 있기 때문에 클러스터 다른면에는 제거를 위해 전화 할 수있는 제한 사항이 있습니다 제거 할 수있는 크기 제한 근본적으로 그들은 서로 다른 서비스입니다

다음으로 다중 라우드 및 하이브리드 아키텍처가 있습니다 우리는 그들이 묶이고 싶지 않은 많은 고객들과 이야기했습니다 하나의 단일 클라우드와 동일한 아키텍처를 원합니다 그들은 푸른 하늘을 원합니다 또는 prim에서 같은 아키텍처 구름처럼

오픈 소스를 사용하는 경우 kofka와 같은 기술과 스트리밍은 동일합니다 아피스 이 승강기와 교대 모델이 있습니다 거기에 가거나 일종의 하이브리드 아키텍처를 가질 수 있습니다 다른면에서는 승강기가 아닙니다

마이그레이션 할 때 기술과 특정 기술을 사용해야합니다 한 플랫폼에서 다른 플랫폼으로 다음으로, 무엇을 분석해야합니까? 당신이 가진 생태계의 종류 더 오픈 소스에 친숙합니다 그리고 당신은 더 많은 자바 친절하고 노트북을 대표하고 오픈 소스는 훌륭한 옵션 일 수 있습니다

그리고 그것은 NET과 그것을 가지고 있습니다 주기적인 인터페이스와 스파크가 후속편 공간 및 후속편에 대한 풍부한 경험이 있습니다 스트림 분석 사이트입니다 다음은 지원입니다

우리는 잠시 후 공개 된 기술 원본은 오랫동안 기업에서 사용됩니다 이들은 uber 및 netflix와 같은 회사이며 그들은 꽤 오랫동안 이것을 사용하고 그들은 전문 지식을 구축했습니다 이러한 기술을 중심으로 실제 몇 초 내에 응답을 찾거나 일부를 실행하면 스파크 문제, 누군가는 아마 그 대답을 노트북에서 찾아 냈습니다 다른 기술의 경우 회사와 그들에 대한지지를 얻으십시오 마지막으로, 사용 편의성, 배포 할 오픈 소스 서비스입니다

클러스터 및 클러스터 관리에 도움이된다면 하루가 끝날 때 클러스터를 계속 관리해야합니다 익스트림 분석에는 비용 관리가 필요 없으며 선택하고 갈 수있는 더 높은 수준의 서비스가 있습니다 지금까지 질문이 있습니까? 계속해라 [들리지 않는 질문] >> 그래서 iot hub – 질문 iot hub를 언급하지 않았고 초점이 맞춰 보였습니다 여기에 있었던 많은 세션 중 발화

허브가 사이트를 추출했습니다 그리고 그들은 포함됩니다 >> 그리고 그걸로 iot 게이트웨이 이벤트 허브를 사용합니다 그래서 당신이 그것을 평가할 때, 이벤트 허브를 다음과 같이 평가할 수 있습니다 아이 허브

그 질문에 대답합니까? 네 발언 네 [들리지 않는 질문] >> 질문은 어떻게 영화를지지합니까? 지원 허브 우리는 오픈 소스를 제공합니다

푸른 기술에 관한 기술 및 넘김은 지원되는 기술이 아닙니다 아직 하늘빛에 배치 할 수는 있지만 지원 대상이 아닙니다 Flink와 달리 spark는 spapper 위에 sla를 지원합니다 우리는 그것을지지 할 것입니까? 그래서 우리는 많은 이야기를했습니다 고객과 우리는 또한 flink의 설립자들과 통찰력을 지원합니다

우리는 고객을 평가하고 있습니다 요구 사항은 고객이 보안 관점에서 바라는 기능이며 우리가 평가하는 관점을 모니터링하고 그것을 평가하고 거기에서 갈 것입니다 우리는 오픈 소스 커뮤니티에서 특히 실시간 속편 공간 큰 오픈 소스쪽으로 이동하고 도움이되는 방법

보시다시피 이들은 kofka를 사용하는 회사입니다 폭풍과 똑똑한 스트리밍 이것은 인터넷의 대부분을 강화합니다 그들은 netflix, linkedin과 같은 회사입니다 계속 켜십시오

그들은 꽤 거기에 있었어 몇 시간과 코프카는 링크드 인에서 태어났습니다 그래서 강력한 산업이 있습니다 오픈 소스쪽으로 이동하십시오 그래서 위대해야합니다, 맞죠? 당신이 그것을 배치하고 당신을 위해 달리고 달릴 수있는 것처럼 기업 유스 케이스? 좀 빠지는

오픈 소스 배포에는 많은 어려움이 있습니다 엔터프라이즈 사용 사례를위한 기술 첫 번째는 그것을 들고 실행하는 것은 어렵습니다 특히 더 힘들어합니다 일단 스트리밍 기술을 사용하게되면 파이프 라인이 연중 무휴로 운영되는지 확인해야합니다

kofka와 같은 스트리밍 기술은 귀하의 데이터 수집 당신의 kofka가 내려 있다면, 1 시간 동안 데이터를 섭취하지 않으면 바닥에 데이터 놓기 이러한 기술을 이해할 수있는 재능을 보유하고 있어야합니다 강력한 방법으로 그들을 구축하는 것은 어렵습니다 그들이 24 시간 연중 무휴로 운영되는 패션

엔지니어와의 통화로 엔지니어가 다운 타임이없고 제로가되도록하십시오 데이터 손실 다음 것 단일 당사자가 없습니다 오픈 소스 기술에 대한 준수를 구현하십시오

그래서 우리가 이야기하는 대부분의 기업들은 대형 은행과 의료기관 및 재정 지원 hipaa의 엄격한 요구 사항이있는 회사 Pci 및 이러한 모든 보안 관련 기능 그들은 원한다 오픈 소스에서, 이것은 밖으로 나오지 않습니다 상자와 보안 기능을 구현해야합니다 스스로 하나의 크기가 모두 맞는 것은 아닙니다

일어나기 위해 스마트 스트리밍과 kofka를 재생할 수 있습니다 실행 중이고 오픈 유즈 케이스를 위해 배포해야하는 경우, 그런 다음 전체 시나리오와 시스템을 이해해야합니다 아키텍처를 보장하고 조정하려는 경우 이를 향해서 이것은 단지 표면을 긁는 것입니다 오픈 소스 기술에는 많은 어려움이 있습니다 그것은 푸른 하늘의 통찰력이 도움이되는 곳입니다

우리 중 얼마나 많은 사람들이 하늘빛 통찰력에 대해 들어 봤습니까? 절반 정도는 반 이상입니까? 우리 중 3 분의 1 따라서 hd 통찰력은 오픈 소스 분석 서비스 빌드입니다 기업용 유광의 경우 너도 알다시피 거기에 강한 스트리밍 케이스를 오픈 소스 기술쪽으로 이동하십시오 그리고 과거에 그들은 높이가 있었고 우리는 hd에서 이것을 제공합니다

999Sof8의 통찰력과 이것들은 kofka와 우리 서버 다 그리고이 슬라이드는 hd 통찰력을 사용하고 나는 그들 모두에 들어 가지 않을 것입니다 그리고 100 개의 오픈 소스 서비스와 우리는 Sla는 기본 인스턴스뿐만 아니라 끝 부분에도 있습니다 kofka에서 서비스를 종료하고 스파크를합니다

필요에 따라 클러스터를 위아래로 확장 할 수 있습니다 우리는 컴플라이언스 및 보안 기능을 내장하고 있습니다 우리는 또한 생태계를 가지고 있으며 우리는 큰 데이터 시스템의 선두 파트너 – 사용 사례에 따라이 클러스터를 약 10 분 내에 배포하십시오 >> 보안 및 규정 준수에 대해 언급했습니다 우리는 우리가 제공하는 다양한 종류의 보안 및 준수를 보유하고 있습니다

이것은 휴식중인 데이터의 데이터 보안 어디에서나 가능합니다 그리고 암호화 레이어는 데이터와 전송에 사용됩니다 위로 이동하면 vnet에서 모든 것을 잠그고 인증 및 인증 기능이있는 보안 기능을 갖추고 있습니다 아파치 레인저에 대한 승인 및 우리는 통찰력을 제공, 게다가 >> 내 동료는 오늘이 세션과 이것에 대한 흥미로운 연구가 있습니다

엔터프라이즈 고객을위한 공간 오늘 오후 4시에 세션에 참석 하시길 권합니다 다음으로 풍부한 생태계가 구축되었고 우리는 오픈 소스와 우리가 함께 일하는 도전 선두 자리에 많은 것을 투자 해 내장 된 자신의 스마트 스트리밍 작업 배포 지원 비주얼 스튜디오 또는 목성 노트북 우리는 최근에 당신을 풀어 놓았습니다 지능형 클러스터에서 클러스터를 제거 할 수 있습니다

기업 고객이 파이프 라인을 운영 할 때 도움을줍니다 특히 액세스 권한이있는 스트리밍 공간 커다란 고통입니다 마지막으로, hd 통찰력은 스트리밍 및 데이터 신호용으로 사용되었습니다 나는 데이터 과학의 응용에 관여하지 않을 것이며 이것은 자체적으로 거대한 필드와 점화에 두 세션이 있습니다 이쪽과 내 동료 한 명과 샤이엔 출신 한 명 그들은 통찰력과 우리의 서버 및 데이터 표지판

데이터에 대한 통찰력 창고 어제 우리는 사용되는 상호 작용하는 과대 광고의 일반적인 가용성 시나리오와 그들은 그것에 대한 세션을 주었고 이것은 또한 필수 사항이며 귀하가 시나리오 그래서 우리는 hd 통찰력을 이해하고 그것의 이득 및 우리는 또한 kofka가 de 이러한 대규모 데이터 파이프 라인을위한 실질적인 처리 엔진 따라서 kofka 내부를 매우 빨리 이해하고 Hd 통찰력이 도움이됩니다 우리는 kofka를 추가했습니다

고객의 아키텍처와 그 요구 사항을 살펴 보았습니다 그들은 우리가 가지고있는 주요한 피드백이 kofka 그리고 그것이 실행되고 있는지 확인하는 것은 그들에게 커다란 고통입니다 설치하는 것이 어려울 수도 있지만, 그것이 운영되고 있다는 것은 그들에게는 엄청난 비용이며 특히 오픈 소스에 대한 hd 통찰력의 명확한 차이 Azure 프레임 워크 이 작업을 완료하기 위해 kofka를 추가했습니다 파이프 라인 및 오늘 볼 수 있듯이 kofka 및 이 전체 파이프 라인은 10 분에서 12 분 이내에 나타납니다

>> kofka에 대해 정말로 빨리 이야기하고 실제로 어떻게 작동하는지 봅시다 kofka의 내부 구조에 익숙한 사람은 누구입니까? 우리 3 분의 1 정도 큰 Kofka는 출판되고 소비되는 모델이며 생산자 kofka에 대한 이벤트를 제작합니다 주제로 알려져 있고 소비자는이 주제에서 소비 할 것입니다

간단 하죠? 병렬 처리를 위해 주제는 파티션으로 구성됩니다 여러 생산자가 다른 생산자를 가질 수있는 곳 같은 주제와 여러 소비자가 사용하는 파티션 서로 다른 파티션의 이야기 다음으로, kofka는 복제를 제공합니다 스토리지 요구 사항에 따라 복제 계정을 선택할 수있는 곳 이제는 데이터 파티션이있을뿐만 아니라 리더와 추종자 및 복제본 그리고 kofka가 전환됩니다 지도자의 공화국은 다른 하나에 배포하고 배포 할 것입니다

다른 중개인 주위의 파티션 그래서 kofka는 훌륭하고 왜 그것을 사용해야합니까? 앞서 언급했듯이 kofka는 배포되는 기술입니다 Hd 통찰력과 우리는 당신에게 실제 kofka에 999 Sla를 제공합니다 즉, 설치하고 실행 중인지 확인합니다

999를 위해 그리고 당신의 중개인은 999에 달리고있다 전체 클릭을 통해 최대 638의 kofka를 얻을 수 있습니다 테라 바이트급 저장 용량

Office 365 용으로 배포 할 예정입니다 그리고 우리는 그 한도에 결코 도달하지 못했고 그것은 아주 제한적입니다 그것을 늘릴 수 있습니다 우리는 또한 인식을 가지고 혁신하고 있으며 그것은 무엇입니까? iraq의 1 차원보기가있는 오픈 소스, 그리고 푸른 색과 같은 환경에서는 랙이 단일에 연결된 모든 것의 2 차원보기 포드와 업데이트는 하늘빛이 보안 릴리스와 패치는 다른 차원입니다 그들은 이것을 kofka 인식으로 번역하고 우리는 파트 igdz 및 파트 재조정을 돕는 도구 Kofka는 인식을 제공하며 랙의 1 차원보기

다음으로, 우리는 매우 밀접하게 통합합니다 하늘색 관리 디스크 우리 중에 얼마나 많은 사람들이 들어 봤어? Azure mmed 디스크와 이것은 약 4 개월 전에 나온 릴리스였습니다 5 개월 전, 그리고 그것은 위대합니다 기술 및 oem에 첨부 된 디스크에서 손상시킵니다

그들과 밀접하게 greated되었으므로, azure가 이것을 관리하기 전에, 배포 할 클러스터는 1 개로 제한됩니다 로드 저장 영역 당 테라 바이트 Kofka는 섭취가 많은 기술입니다 디스크가 종종 병목 현상이됩니다 따라서 배포하려는 경우 관리되는 디스크와 통합하면, 이제는 노드 당 최대 16 테라 바이트를 배포하며 이는 1 테라 바이트 클러스터에 연결할 수있는 디스크

이전과 비교하여 최대 768 테라 바이트까지 저장할 수 있습니다 48 테라 바이트 왜 이것이 중요한가? >> 중요한 이유는 디스크 비용을 보면 노드의 비용과 비교 kofk accost는 다음과 같이 중요합니다 특히 사무실에서 워크로드를 확장합니다

크기를 조정할 때 더 많은 디스크를 노드와 비용이 기하 급수적으로 떨어집니다 따라서 귀하가 사용할 수있는 시나리오를 늘릴뿐만 아니라, 또한 규모를 확장함에 따라 비용을 대폭 절감 할 수 있습니다 그것이 푸른 색과 통합되는 작업량 운영 관리 제품군 운영 관리 제품군은 예측 적으로 풍부한 경험을 제공하는 기술 보유하고있는 HP Insight 클러스터 또는 모든 지역에 대한 유지 관리 기업 고객과 이야기 할 때 가장 큰 도전 kofka 및 스트리밍 기술 및 모니터링 기능 이 파이프 라인과 통풍구가 누출되지 않았는지 또는 한 기술이 적용되지 않는지 확인하십시오

다른 것보다 빠릅니다 그리고 그들은 푸른 하늘에 파이프 라인을 가지고 있습니다 >> 그리고 우리는 이것을 가지고 모든 것을 드러 낼 수 있습니다 측정 항목과 상위 측정 항목 및 제외 Kofka 클러스터 및 단일보기 창을 통해 할 수있는 대시 보드와 경고를 가질 수 있습니다 스트리밍 파이프 라인을 구성하십시오

이것에 대해 명확한 것은 없습니다 대시 보드에서 경고하고 표시 할 수 있습니다 특정 임계 값에 대해 자동 실행 속도를 지정할 수도 있습니다 따라서 디스크가 80 이상으로 떨어지면 나는 다른 노드를 내 시스템에 연결하는 자동 실행 작업 클러스터를 통해 예측 유지 관리가 가능합니다 관리 제품군

우리는 가상 네트워크에 kofka를 배치했고 kofka를 사용했기 때문에 스트리밍 사용 사례를 처리하고 처리합니다 고객의 대부분이 필요로하는 핵심 요구 사항은 대형 은행과 건강 관리 회사가 도요타에게 한 번 묻습니다 그들은 가상 네트워크를 가지고 있으며 우리는 네트워크 보안 그룹을 통한 가상 네트워크 파이프 라인에 액세스하여 발견하십시오 따라서 kofka를 배포하고 가상 네트워크를 시작하고 당신은 또한 그것을 잠글 수 있고 다른 vnets을 피어 먹을 수도 있습니다 성과 위약 없이도 함께 할 수 있습니다

adp 및 게이트웨이를 통해 온 – 어드 장치의 vnet에 연결하십시오 그리고 거기에 문서 링크가 있습니다 kofka 및 클라우드로 데이터를 전송하는 곳에서 날짜를 전송합니다 vpm 클라이언트와 이에 대한 자동화 된 템플릿이 있습니다 일단 우리가 vnet에 가입하면 성과 패널티를 내지 않아도 코프카에게

>> 마지막으로 우리가 강력한 스트리밍 파이프 라인을 갖춘 많은 기업 더 높은 적합성에 대해주의하십시오 한 지역이 무엇이든간에 이유가 없어집니다 메시지가 손실되지 않고 언제든지 사라집니다 지역이 다시 돌아오고 그 지역을 다시보고 싶어합니다 메시지

그래서 kofka와 우리는 상자 지원, 두 개의 kofka 주제가 있고 원하는 경우 Kofka에서 다른 Kofka로 재생하려면 다시 재생할 수 있습니다 그 메시지들과 함께 결혼하십시오 이는 재해 복구 시나리오 및 많은 고객들의 시나리오가 도움이됩니다 kofka 및 클라우드로 전 기기에서 전송하고 싶습니다 당신은 당신이 premis에서 뛰고있는 kofka를 가질 수 있습니다

그러면 kofka와 클라우드에 이벤트가 더 많이 생깁니다 보내는 다른 프로듀서가 필요하지 않음 구름 이 때문에 우리는 도요타에 대해 이야기했습니다 내가 앞서 가던 도요타에서 직접 견적을 받았다 그들이 잘 알고있는 관리 대상 부분을 강조 표시했습니다

Kof qaa와 우리는 이것의 6 월에 그들과 함께 석방했습니다 작년과 2017 모델의 대부분은 kofka 및 방법으로 구동 됨 Azure hd 통찰력을 배웠고 원하는 경우 링크가 있습니다 이러한 기술에 대해 자세히 알아보십시오 우리가 앞서 가서 업계를 이해하기 위해 오픈 소스 및 hd 통찰력 혜택 나는 거기에서 몇 가지 동안 멈추게 될 것이다

모든 질문에 대한 분 어서 [들리지 않는 질문] >> 질문은 당신입니다 수동으로해야합니까? 대답은 우리가 자동으로하지 않는다는 것입니다 오늘부터는 규모를 조정할 수 있지만 하늘색 운영 관리 제품군을 통해 필요에 맞게 확장 할 수있는 스크립트

그래서 당신이 80 개가 넘는 디스크를 가지고 있다고 말하면 어떻게 경고 할 수 있는지 보겠습니다 초당 수신 메시지 및 그 속도 및 그 비율이 기대 한 것보다 높으면 클러스터를 확장하고 클러스터를 확장 할 수 있습니다 거기서 예언 했으니 프로그램 할 수는 있지만 우리는 제공하지 않습니다 오늘 hd 통찰력의 상자 밖 어서

[들리지 않는 질문] >> 질문은 무엇입니까? 일반적으로 관리되는 iops는 좋은 질문입니다 우리가 다음에 들어갈 주제가 될 것입니다 질문을 다시 살펴 보겠습니다 5 번으로가 짧은 대답은 '아니오'입니다

관리 디스크의 kofka 병목 현상이 아닙니다 다른 질문? 이제 우리가 코프카를 이해 했으므로 기술을 살펴 보겠습니다 kofka 클러스터의 크기와 자원 수 kofka가 필요하십니까? 일반적으로 kofka 및 관리 디스크의 병목 현상 및 일반적으로 큰 데이터 병목 현상이 있습니다 당신은 CPU, 메모리, 디스크를 가질 수 있습니다 그리고 당신은 네트워크를 가질 수 있습니다

kofka의 경우 CPU와 메모리가 병목 현상이되지 않는 경우가 많습니다 이것은 섭취가 많은 기술이며 확장 가능한 수행 방법 및 kofka는 파일 시스템 현금을 사용합니다 그리고 기억은 일반적으로 병목 현상이 아닙니다 네트워크 및 디스크는 종종 그렇습니다 시스템을 설계 할 때 병목 현상이 발생하고 크기가 얼마나되는지 파악하십시오

클러스터가 있어야하는 이유는 노드 당 관점 및 디스크 수 VM에 연결하십시오 그럼 예제를 살펴 보겠습니다 이것과 정치적인 시나리오를 가지고 있습니다 메시지 속도는 초당 10,000 개이며 각 메시지는 오래있을 것입니다 그가 진행하기 전에 이벤트를 kofka 클러스터에 저장하십시오

그것을 깨끗이합니다 제작에 들어가기 전에 당신이 노드 당 얻을 수있는 쓰루풋을보세요 우리가 보유하고있는 VM에 대해 초당 약 450MB 정확히 잰 그래서 이것을 받으면 먼저 시스템을 통과시키고 150 킬로바이트 당 둘째, 우리 시스템의 총 필요량을 의미합니다 초당 4500 메가 바이트 또는 4

5 Gps를 처리 할 수 ​​있습니다 >> 여기에서 두 가지 계산이 필요하며 첫 번째는 네트워크 관점에서 필요한 노드 수 우리는 450이 각 노드가 처리하고 네트워크 대역폭과 우리는 10 개의 노드가 필요하다는 것을 알고 있습니다 네트워크 대역폭을 수용하십시오 두 번째로 우리는 이해할 필요가있다

스토리지 관점에서 12 시간당 195 테라 바이트 보존 정책 우리는 16 테라 바이트 각 디스크에 대해 이것은 검색에서 13 개의 노드가 필요하다는 것을 의미합니다 Perspective는 각각 16 테라 바이트까지 확장 할 수 있다는 것을 알고 있기 때문입니다 그래서 우리는이 둘의 최대치를 취합니다

각 노드에 16 개의 관리 디스크가있는 노드가 필요하며 우리는 이것으로 스토리지 대역폭을 사용할 것입니다 초당 메시지가 증가했고 여전히 150kb의 상수를 일정하게 유지하고 싶었습니다 네트워크가 대역폭이 될 수 있으며 병목 현상과 얼마나 많은 노드는 네트워크 관점에서 추가하고 싶습니다 바라기를이보기는 돕고 거기 있으면 질문을 위해 여기 잠깐 멈출 것이다 이전에 관리 대상에 대해 물어 본 질문에 대한 답을 얻었습니까? 디스크? 우리는 두 종류의 클러 터와 디스크를 연결할 수있는 관리 디스크 htd 디스크와 이전의 표준 관리 디스크 ssd 디스크 및 경험을 통한 관리 디스크 고객과 함께 일하면서 결국 비용이 증가하게됩니다

효과적이고 성과는 더 많은 메모를 표준 디스크와 프리미엄 디스크를 사용하는 클러스터 그래서 그것은 당신에게 그다지 도움이되지 않으며 당신은 더 많은 것을 지불하게됩니다 그 가격 그래서 대신 표준 관리 디스크 및 증가 된 확장을 가질 수 있습니다 질문이 없으면 스트리밍 파이프 라인을 배포합니다 그리고 얼마나 쉽게 kofka 관점에서 볼 수 있습니다

그럼 빨리 전환하겠습니다 데모 다들 친숙하길 바라 네 기자와 함께 그리고 한 번 당신은 azureCom을 끌어 당깁니다

내가 플러스를 클릭하면 할 수 있습니다 그러면 우리는 서로 다른 출처를 통해 푸른 색이 첫 번째 팝업 창이 통찰력이라면 제공합니다 그런 다음 클러스터에 넣을 수있는 4 ~ 5 개의 쉬운 단계를 통해 이름과 일단 내가 올바른 구독을 선택하면, 나는 갈 수있다 클러스터 유형과 이것이 내가 본 것을 볼 수있는 곳입니다 당신은 모든 종류의 클러스터, hyde, kofka 및 대화 형 놀이

우리가 kofka를 골랐다면 최신 버전과 우리가 선택할 수 있습니다 그리고 kofka 클러스터에 대한 관리자 세부 정보를 입력 할 수 있습니다 그리고 당신이 사랑하는 비밀 번호와 리소스 그룹을 제공합니다 탭을 열어 놓았 는가? 괜찮습니다 일단 이걸 통과하면 너가 들어가고 수를 입력 할 곳 이니? 필요한 노드 및 원하는 디스크 수 클러스터 당

또한 유형을 묻습니다 원하는 디스크, 프리미엄 대 표준 그리고 발견 한 친절하고 풍부한 경험이있는 동안 이러한 기술을 배포하고 Else는 azure에서 사용할 수 있으며 가상 네트워크를 배포합니다 kofka 클러스터를 배포하는 데 더 많은 시간이 소요될 수 있습니다 포털로 내려 가서 대신이 문제를 해결할 수 있습니다

그리고 우리 중 얼마나 많은 사람들이 푸른 하늘에 대해 들어 왔습니까? 템플릿 반 정도 hd 통찰력, kofka 및 스파크, 그리고 만약 내가 첫 번째 링크를 클릭하면 그렇게 갑자기 튀어 나와서 폭풍에 대비해 반면 나는 단지 푸른 링크에 배포를 클릭하면 반면 갈 것입니다 앞서 필요한 모든 팔 템플릿을 가리켜보십시오 기본 클러스터 이름과 원하는 로그인을 계속 진행할 수있는 템플릿 편집을 클릭하십시오 템플릿 설정을 수정하고 여기서 사전 준비를합니다

kofka 클러스터가있는 vnet과 디스크가 바뀌면 Hd 통찰력 버전을 변경하고 거기에서 이동하십시오 이 템플릿 하나를 사용하여 배포를 수행하고 배포를 누른 다음 – 예 배포를 클릭하고 우리는 10 ~ 12 분 내에 그것을 볼 것입니다 리소스가 작동 중이고 스파크 클러스터가 있습니다 그리고 실행과 비전에서 vnet과 스토리지 소송 비용

그것은 강력한 방법입니다 문제가있는 파이프 라인을 가동시켜야합니다 내가 스파크 클러스터에 가면, 우리는 우리가 사람이 살고있는 것을 볼 것입니다 이 노트북 중 두 개는 gethub에서 사용할 수 있으며 그들은 twit tore에서 스트리밍을 시작하고 이걸로 시작합니다 예를 들어, 실시간 택시 픽업 시나리오에서 동화 시키십시오

그리고 우리는 뉴욕시 택시에서 세트를 가져 왔습니다 각 픽업에 소요되는 시간에 대한 픽업이있는 곳 그리고 각 타는 것이 얼마나 많은지 등등 스트리밍에로드했습니다 이러한 프로그램을 시뮬 레이팅하고 통풍구를 보내려는 프로그램 스파크 노트북을 통해 kofka 통해 그들을 먼저 주제를 작성한 다음 전개하여 배포합니다

kofka 및 그 전에 사실,이게 뭔지 보여 드리겠습니다 그게 하나야? 프레젠테이션 우리는 같은 가상 네트워크에서 kofka를 사용하고 있습니다 코프카 (kofka) 주제를 만들기 위해 우리는 공개적으로 화제에 그리고 동일한 노트북 및 동일에 택시 사건 스트리밍 클러스터에서는 다음 이벤트를 스트리밍합니다 텀블링 창을 띄운 다음 실시간 속편으로 분석 할 것입니다

그는 kofka 주제에 이벤트를합니다 벌써 했니? 그녀는 이미 노트북을 돌 았고 그것은 클러스터로 ssh이고 그들은 주제에 흘러 들어오는 이벤트 제작자가 실행 중인지 확인할 수 있습니다 실시간으로 이벤트 당신은 모든 것을 가지고 있습니다

픽업 날짜 시간과 가격 및 가격 그래서 이것은 실시간으로 이벤트를 시뮬레이션합니다 두 번째 노트에 가면 여기에 대부분의 코드를 미리 채 웁니다 우리가 처음 만들었던 것과 같은 kofka 주제에서 읽습니다 주제 2-1과 배치 간격을 6 초로 설정했습니다 6 초마다 우리가 분석 할 6 초를 의미합니다

가져온 여행 및 유입되는 데이터 마지막으로, 우리는 모든 단일 시점에 대해이를 분석 할 것입니다 지난 6 초 그럼 계속 가면 이 객체를 객체로 파싱 한 다음 이벤트가 진행될 때 상점에 알려주겠습니다 스트리밍으로, 우리가 쓰게 될 간단한 한 줄이 있습니다

귀하의 스파크 스트리밍 클러스터에 연결된 스토리지 계정에 우리는 또한 임시 속편 테이블로 그들을 스트리밍하여 실시간 속편과 우리가 여기에 흐르는 사건을 보게 될 것입니다 그래서 우리가 내려 가면 우리는이 노트에 있습니까? >>이 노트북이 돌아가고 있으며 약 30 분이 걸릴 것입니다 완료하려면 초를 누르십시오 >>> 우리는 이것으로 돌아올 것입니다, 이것은 30 번의 성공으로 이어질 것입니다

그리고 우리는 모니터링으로 전환 할 것입니다 그래서 우리는 오픈 소스와 그것을 관리하고 모니터링하는 것은 어렵습니다 oms와 통합되어 있으며 왼쪽에 표시됩니다 모든 행정부와 모니터링이 필요합니다 클릭 할 수 있습니다

나는 oms를 활성화하거나 비활성화 할 수 있으며 일단 oms를 활성화하면 대시 보드로 이동합니다 이 같은 것 그리고 우리는 네트워크가 흐르고 대시 보드로 흘러 들어가는 모든 것 여기에서 드릴로 여기에 측정 항목 자체 또는 미리 채워진 메트릭에 대한 사용이 제공됩니다 대시 보드에서 사용할 수 있습니다 이건 당신에게 초당 수신 메시지와 초당 바이트 수 초당 들어오는 바이트였습니다

따라서 대시 보드를 사용하거나 이 통계는 여전히 유효합니다 달리기 때문에 스파이크가 생겨서 막을 수 있습니다 그들도 할 수 있습니다 경고를 클릭하면 유형을 입력 할 수 있습니다 클레임 및 문제 해결 가이드를 추가 할 수 있습니다

이 경고에 대해 원하는 단계와 방법을 구성 할 수 있습니다 종종이 경고가 실행되고 누구에게로 향하는 지 알지만, 만약에 당신이 본다면 오른쪽 하단에는 그것이있는 곳입니다 책을 운영하고 웹 api를 호출 할 런 북도있을 수 있습니다 따라서 초당 들어오는 바이트가 무엇보다 높다고 해봅시다 예상했는데 경보를 발령하고 원하는 작업을 수행하기위한 자동 실행 서적 클러스터

>> 다시 전환하고 싶습니다 그 노트를 볼 수있는 완료 되었습니까? 시간표로 돌아 가면 다시 실행 해 봅시다 >> 이벤트가 여기에서 스트리밍되는 것을 볼 수 있습니다 지난 6 초 평균 픽업 시간과 모노는 그것이 아래로 내려 가고 있는지, 그리고 Rammish가 당신이 볼 수있는 매 시간마다 그것을 다시 실행합니다 마지막 6 초 동안 다른 배출구가 채워집니다

택시 중 택시를 타면 택시를 타고 갈 수 있습니다 여기서 평균은 실시간 후속 작업을 수행하는 강력한 기술입니다 여기서 평균을 할 수 있으며 이는 실시간 후속 작업을 수행하는 강력한 기술입니다 그리고 이것으로, 우리가 가지고있는 스토리지 계정이 이것입니까? 우리가 이벤트를 밖으로 내보내는 스토리지 계정 택시 폴더와 여기에서 모든 이벤트를 볼 수 있습니다 서면으로뿐만 아니라 우리는 사건이 출판되고 당신은 실시간 속편을 가질 수 있고 당신은 원할 수도 있습니다

cosmos db와 같은 이벤트가있는 또 다른 행을 가지려면 실시간 응용 프로그램이 빠른 곳 나는 거기에 선을 가지고 있지 않지만 다른 선을 가질 수있다 밖에있는 뜨거운 표정 괜찮아 그것으로, 우리는 다시 전환 할 것입니다

나는 거기에서 멈출 것이다 전에 질문이 있습니까? 계속해서 고객 사용으로 이동하십시오 [들리지 않는 질문] >> 미안해 질문을 다시 할 수 있을까요? [들리지 않는 질문] >> 질문은 할 수 있습니다 디스크를 교체 하시겠습니까? 그래서 나는 그것에 달려 있다고 생각합니다

유스 케이스 유스 케이스가 막 얻을 수 있다면 스트리밍의 데이터를 데이터로 가져옵니다 링크 저장을하면 여전히 관리 디스크를 완전히 교체 할 수 없습니다 하늘의 일일 가게에 이것들을 지시 할 장소가 필요하기 때문에 이 이벤트를 섭취하면 이벤트를 파이프하거나 스파크 스트리밍 이벤트 상점이나 커넥터를보고 있으므로 가지고있을 수있는 상자 밖의 커넥터는 kofka입니다 하늘색 데이터 링크 저장소의 커넥터는 자동으로 연결됩니다

데이터 링크 저장소에 이벤트를 넣으십시오 추가 강력한 클러스터,하지만 당신은 여전히 ​​제거 할 수 없습니다 데이터를 가지고있을 때 관리 디스크가 필요합니다 이러한 이벤트를 완충시키는 단서는 그것이 kofka의 힘이며 그것이 관리되는 디스크의 힘입니다 도움이 귀하의 질문에 도움이됩니까? 시원한 다른 질문? 어서

[들리지 않는 질문] >> 그렇지만 kofka는 실시간으로 신호입니다 실시간 학습 및 실시간 속편을 할 수 있습니다 데이터 링크에 넣으면 그 때 상점은 첫번째로 가지고있다 걱정할 정확한 대기 시간 그리고 그건 의미가 없어요 에 대한 유스 케이스에 대해 이러한 이벤트를 저장할 수 있습니다

원시 이벤트를 저장 한 다음 기계 학습을 수행하고 그들이 데이터에 저장되면 원하는 etl 또는 원하는대로 링크 저장소,하지만 당신은 뜨거운 경로를 읽고 싶지 않아요 데이터 링크 저장소 직접 [들리지 않는 질문] >> 그래서 cosmos db는 10 개의 kd에 대해 p-99 읽기 및 쓰기를 제공하고 가격 비교가 있기 때문에 먼저 이해해야합니다 코스모스 db의 크기를 조절할 수 있다면 섭취량은 얼마입니까? 섭취율, 그리고 확실하지 않은 경우 코스모스 db는 대다수의 케이스 나 그렇지 않을 수 있습니다 실시간 조회 그런 작은 사건들 150 명 Killobytes 그리고 당신은 kofka에 이벤트를 줄 수 있습니다

섭취량을 높게 유지 한 다음 파이프에 넣을 수 있습니다 Cosmos db >> 필요한 것을 정의 할 수 있습니까? >> Cosmos db, 당신은 당신이 필요로하는 큐를 가질 수 없습니다 네 다른 목적을 위해 봉사한다

전부 큰 고객 유스 케이스에 대해 이야기하고 사무실에 관해 이야기했습니다 365 그리고 그들은 사이펀이라 불리는 마이크로 소프트에 의해 구동되며, 왜냐하면 Microsoft 공유 데이터로 사용되기 때문입니다 Office 365는 필자의 분석에서부터 공유 지점 및 실시간으로 유입되는 모든 데이터 Microsoft는 초당 800 만 건의 이벤트를 처리하고 있습니다

10Gb / 초 및 여기에 숫자를 포함하는 것을 잊어 버렸습니다 kofka 클러스터를 배포하고 이들을 sharted했습니다 그리고 그들은 그것과 열쇠를 통해 모니터링과 이벤트를 가지고 있습니다 비둘기 분석 및 사무실 인 고객 시나리오 365 그리고 그들은 이것을 대부분의 kofka보다 높은 비율로 사용하고 있습니다 업계의 사용자가 있습니다

그들은 다시 파이프 라인을 가지고 있으며 그들은 파이프 라인을 가지고 있습니다 모든 곳에서 설정되는 회선 데이터 센터에서 유럽, 아시아에 있으며 kofka가 있습니다 스트리밍을 시작한 다음 거기에서 파이프를 뽑습니다 그럼 어떻게 생겼지? hd 통찰력 스트리밍 및 우리는 kofka 스트리밍을 만드는 데있어 지속적인 혁신을하고 있습니다 더 안전하고 호환이 잘되며 우리는 더 많은 것을 제공 할 것입니다

이러한 풍부한 모니터링 경험과 기업 운영 비용 절감을위한 운영 경험 고객은 여전히 ​​오늘날에도 여전히 정확한 위치를 차지하고 있기 때문입니다 그럼이게 어떻게 생겼어? 나는 실제로 가지지 않는다 – 나는하지 않는다 그걸 미끄러 져 라하지만 네가 이걸 지킬 것 같아 스트리밍 파이프 라인 전체에서 우리는 최근에 LinkedIn을 인수하고 우리는 그들과 긴밀하게 협력하고 있습니다

코프카 정상 회의에서 우리는 그들과 함께 일 해왔다 기능을 혁신하기 위해 우리는 어떻게 기능을 이해할 수 있도록 노력합니다 이것이 그 (것)들에서 한 무언가 인 경우에, 그 (것)들에 혁신하십시오 과거와 방법을 우리가 오픈 소스로 밀어 넣고 그곳에서 긴밀한 협력이 이루어질 것이며 우리는 앞으로도 훌륭한 기능을 개발하기 위해 노력하고 있습니다 >> 우리는 rajit이있는 팀에 엔지니어링 팀과에 마지막으로 있었던 스파크 정상 회담 7 월에 그들은 실제로 가서 이야기를 나눴다 구조화 된 스트리밍 및 HD 통찰력 및 실시간 데이터 및 우리는 지속적으로 공간에 더 많은 투자를하고 있습니다

시작하려는 경우 모든 슬라이드가 있습니다 표시됩니다 슬라이드가 그룹, HD는 Insight는 hd를 시작하기위한 포괄적 인 안내서입니다 통계 및 스트리밍 리소스가 있습니다 kofka를 재생하고 확장 성을 고려하여 시작하고 실행할 수 있습니다 그것에 대한 우수 사례 우리가 오늘 본 노트북은 스트리밍을 가지고 있습니다

구조 및 폭풍과 함께 kofka를 사용할 수도 있습니다 vnet에 ems와 onprem을 모니터링하고 merrymaker를 사용했습니다 질문이나 의견이 있으시면 전자 메일로 보내주십시오 발표자 평가 작성 이 세션과 hd 통찰력을위한 다른 발화 세션을 위해, 나는 이것들에 대해서 말했고, 이것은 당신에게 보여주는 하나의 슬라이드 일뿐입니다 그들이 이미 수행했는지 찾을 수있는 곳 온라인에서 볼 수 있고 다음에 대한 통찰력이 있습니다

박람회와 트위터가 우리에게 와서 우리 부스에옵니다 그래서 저는 믿습니다 네 감사 [박수] 나는 질문을 그만 둘 것이다

어서 >> 당신은 지원 모델, 특히 kofka에 대한 통찰력을 제공합니다 당신들은 자신을지지합니까, 아니면 당신입니까? 계층 모델? >> 질문은 무엇입니까? Hd 통찰력 지원 모델은 우리가 파트너로서 고객에게 어떤 모습으로 보입니까? 유일하고 열린 것 소스 입찰가 그 시점부터, 당신과 고객 사이의 상호 작용, 우리는 슬립 한 클러스터를 제공하고 가동 시간은 9입니다 Microsoft 지원 담당자에게 연락을 취한 다음 해결할 수 있는지 확인합니다

문제 문제를 해결할 수있는 경우 if 우리는 파이프 라인을 도울 수 있고 그 문제를 완화 할 수 있습니다 그럼 당신은 잠을 자면 돼요 근원이되면 호튼 작업을 할 것이고 우리는 귀하의 지원으로 연락하시면 우리는 클러스터를 핫 픽스하고 오픈 픽스를 공개하십시오 출처,하지만 당신은 고객으로 호튼에서 추상화되어 있습니다

작품과 당신이 필요로하는 유일한 것은 마음의 평화입니다 공개 소스 입찰가가 나오고 거기에서 나온 것입니다 Hd 통찰력은 나머지를 돌본다 도움이 될까요? >> 차가워 요 어서

[들리지 않는 질문] >> 그래서 kofka – 당신이 되돌아 간다면 그래서 kofka는 이벤트가있는 곳의 섭취량입니다 높은 풋 율과 kofka를 사용하면 스트리밍을 할 수 없습니다 이제 kofka에는 스트림 API가 있으며 커넥터 API가 있습니다 그리고 그것은 매우 순진하고 kofka는 여전히 섭취입니다

높은 곳에서 이벤트를 실제로 처리 할 수있는 기술 처리 속도 및 다음 스파크 스트리밍을 사용하여 변환 작업을 수행하는 실시간 속편 그런 일을하는 분석 네 그래서 kofka는 처리이며 스마트 스트리밍은 처리됩니다 나는 그것에 대해 어떻게 생각합니다

네 어서 [들리지 않는 질문] >> 예 나는 실제로 약간의 슬라이드를 가지고 있었다 그리고 나는 내가 짧을 예정이다라고 생각했다

시간이 지나면 바로 설명해 드리겠습니다 아이디어는 사용하는 모든 기술이 그들을 처리하십시오 예를 들어 보겠습니다 슬라이드 간격 슬라이드 간격이 5라고 가정 해 보겠습니다

초와 5 개의 이벤트가 있고 그 다음에는 창을 평가하고, 매 5 분마다 창 값을 계산하십시오 초는 창 크기가 10 초입니다 따라서 10과 같으면 창 크기는 다음과 같은 이벤트가됩니다 15에서 5로 왔습니다 예를 들어 보일 수 있습니다

매 5 초마다 내게 트윗이나 수를 줄 수 있습니다 지난 10 초 및 5 초마다 트윗 수를 계산하지만 간격은 매 5 회마다 실행됩니다 초 그리고 돌아 오는 시간은 10 초입니다 그래서 두 가지 개념이 있습니다 슬라이딩 윈도우에는 겹침이 있고 그 다음에 겹침이없고 아직 정지 된 텀블 창 나란히 앉아서 창 크기가 동일합니다

10 초마다 트윗 카운트를 주며 그것없이 그리고 그 후에 그들은 서로 바로 옆에 있지 않다 깡충 뛰기 창은 그들이 공동이고 당신은 그들을 가질 수 있습니다 한 창에서 다른 창으로 건너 뛰기는 할 수 있지만 거기에 시간 차이가 있습니다 저압인가? 시원한 >> 그리고 내가 가진 링크 슬라이드를 다운로드하면 슬라이드의 맨 아래쪽에 표시됩니다

이 모든 것들이 훨씬 더 자세하게 나와 있습니다 예제 및 일부 애니메이션 및 물건 >> 계속해라 [들리지 않는 질문] >> 그래서 내 사용은 무엇입니까? 프로세싱 부분을 수행하는 Azure 함수 유스 케이스에 의존해야한다고 생각합니다

Toyota의 경우 복잡한 계산 및 집계를 수행하고 있습니다 극단적 인 처리 내에서 azure 함수가 할 수있는 경우, a, do 이러한 복잡한 집계는 가능하지 않은 경우 귀사의 귀사 또는 귀사의 유스 케이스가 요구하는 시간과 경비를 절약 할 수 있습니까? 그래서 도요타는 각 시간의 엄격한 적시성을 가지고 있습니다 스트리밍 파이프 라인은 몇 초 내에 완료되어야하며 그래서 그들은 단지 스트리밍을 사용하고 폭풍을 이용하기 때문에 폭풍은 정말 빠르며 이벤트 처리 및 심지어는 모든 사람들이 스트리밍을 사용하고있는 것은 아닙니다 이것은 정말 빠른 경쟁, 집합 및 그런 것들입니다

그리고 어떻게 스트리밍 파이프 라인을 만들고 싶은지에 대한 것입니다 일어나서 달리는 것, 나는 당신이 앞으로 나아갈 수 있고 푸른 하늘을 시작할 수 있다고 생각한다 기능 측면에서 귀하가 가지고있는 기준에 맞는 경우 작동합니다 [들리지 않는 질문] >> 나는 푸른 색을 가지고 있지 않다 아직 kofka 기능

내 직감은 아마 그렇게 말합니다 사용하려고하는 고객이 있다는 것을 알고 있습니다 cosmos db에 kofka를 가져 오는 기능 나는 그들이 얼마나 성공적 이었는지 모르지만 나는 그것을 믿는다 가능해야하지만, 나는 개인적으로 그들과 놀지 않았다

그러나 나는 그 한계를 모른다 그래,하지만 네가 시도해보고 찾으면 나에게 보내줘 메일과 네, 듣고 싶습니다 다른 질문? 계속해라 >> 얼마나 자주 – 나는 모른다

– >> 그래, 계속해라 >> 사람들은 9-5와 같은 것을 얼마나 자주 사용합니까? 토픽을 구독하고 통합 및 그 유형의 경첩을 수행하십시오 >> 문제는 얼마나 자주 주제를 구독하는 것이 좋지 않은지를 확인하는 것입니다 우리는 kofka와 구름과 nyfy에서 하나의 데이터를 볼 수 있습니다 Kofka는 다른 한편으로는 심지어 nyfy는 데이터를 사용하여 저장합니다

우리는 그 중 일부 사례를보고 압박 cryptor hd 통찰력에 관리 된 작업 부하가 있기 때문에 오리엔테이션 또한 전제 조건으로 배포 할 수있는 경우에도 이와 유사한 작업을 수행 할 수 있습니다 그것의 분할 점에서, 표준 kofka를 제외하고 Apis와 우리는 nyfy에 대한 지원을 제공하지 않으며 한번 kofka에 거짓말을하면, 우리는 그것을지지합니다 우리가 가지고있는 kofka의 버전은 항상 최신 버전, 적어도 하나 또는 두 개의 이전 버전과 호환 가능한 버전이 아닌 경우 왜냐하면 그것들은 오픈 소스이기 때문입니다 그래서 뭔가 기본적으로 열려 있습니다 근원은 그 때 거기 지원이다, 그러나 대부분에 우리는 kofka와 open에서 많은 것들이 깨지는 것을 보지 못했습니다

소스, 그래서 지원은 오픈 소스지만, 우리는 아무것도하지 않습니다 특별하거나 더 좋든 나쁘 든간에 케이스 그래서 kofka는 오픈 소스이며 – 문제는 k 속편을지지하는 것입니다 그것은 속편 기술입니다 코프 카 (Kofka)는이 마지막 릴리스에서 스마트를 보았던 곳을 추가했습니다 실시간으로 속편 테이블을 스트리밍하는 것

당신은 Kofka e에서 직접 할 수 있습니다 스파크 속편을하고 질문은 우리가 그것을지지합니까? >> 오픈 소스 kofka의 일부로 추가되었습니다 케이스를 얻을 수 있어야합니다 동등한, 매력적인 관점에서, 우리는 들리지 않았다 또는 실행중인 모든 고객이 후속편 사용 사례를 보았습니다

지상에서 벗어나 방금 그 비공개 프리뷰를 공개했습니다 그리고 그들은 그것의 시사회를 발표했습니다 그게 신호라고 생각해 코프카의 방향이 움직이고 있습니다 이 처리 엔진이됩니다

그것은 또한하려고 노력할 것입니다 화면 처리 엔진 및이 실시간 etl 및 실시간 처리 및 kofka에서 수행하려는 경우 다음을 수행 할 수 있습니다 거기에 다른 클러스터가 없으면해라 kofka의 창립자가 앞으로 나아가고 있습니다 한 번 처리하거나 정확하게 kofka에서 처리중인 내용

나는 기업과 기업을 위해 얼마나 오래 걸릴지 모르겠다 산업체가 거기에 도달 할 수는 있지만 거기에는 지원이 있습니다 그들이 움직이는 방향 앞으로 나아가 야지 [들리지 않는 질문] >> 질문은 aws가 단계입니다

펑크 스와 그와 동등한 게 있나요? 람다에 해당하는 것은 푸른 펑크가 되어라 그러면 kofka와 함께 푸른 펑크를 사용할 수 있었느냐는 질문이었다 내가 말했듯이, 고객은 그것을 시험해보고있다 그리고 나는 확실하지 않다 그 성공에, 그렇습니다

[들리지 않는 질문] >> 어떤 종류의 기술과 함께 하늘색 기능을 사용할 수 있습니다 하늘색 기능은 – >> 푸른 하늘은 계단처럼 보입니까? 나 몰라, 너도 알지?