Apache Kafka Tutorial | What is Apache Kafka? | Kafka Tutorial for Beginners | Edureka

안녕하세요 여러분! Edureka의 Subham입니다 오늘 세션의 주제는 카프카 자습서입니다

따라서 아무런 지체없이 오늘 세션의 의제를 살펴 봅시다 이해하는 것이 중요하다고 생각합니다 기술의 필요성 이제 메시징 시스템의 필요성부터 시작하겠습니다 그런 다음 Apache Kafka와 그 기능을 이해할 것입니다 Kafka 튜토리얼을 더욱 발전시켜 우리가 다른 것에 대해 배울 것입니다

Apache Kafka의 구성 요소와 아키텍처 마침내 우리는 Apache Kafka를 설치하고 배포 할 것입니다 단일 노드 단일 브로커 클러스터

Microsoft Power BI Premium: Building enterprise-grade BI models for big data – BRK3107

>>> 안녕, 누구나 좋은 아침

이거 기분 고맙다 아침 나는 기독교이고, 프로그램이다 매니저 엔터 프라이즈 기능을 살펴 봅니다

POWER BI, AZURE SERVICES, 특정 종류의 FOCUSING OF KIND OF BI PRO 개발자 기능 확장 성 및 관리 성 그리고 프로그래밍 및 애플리케이션 라이프 사이클 이 유형의 관리 및 소지품 그래서 우리는 많이 일어나지 않았다 지금 당장이 공간에서 앞으로 찾고 있었어 이 세션은 내가 이기기를 원하기 때문에 너는 알았어 너보고 싶어

이 기능을 사용하는 방법 내가 가지고있는 많은 희생자들 최근에 기본적으로 완료했습니다 바이올렛이 나왔어 일부 주변의 HYPE가 많이 없습니다 특징은 있지만 너무 많은 사람은 아닙니다

실제로 설정하는 방법을 보았습니다 위로, 오른쪽 내 일차 목적 이니? 교육 오늘 – 교육 당신은 그것을 설정하는 방법을 안내합니다 나는 가지 않을 것이다 – 나는 얻을 수있다 조금씩 움직이기는하지만 위험하지는 않습니다

내가 아는 한 많이 왔어 이 중 일부에 대한 주해 풍모 나의 일차적 인 목적은 교육이다 당신들 알았어, 너는 그걸 깨달을거야

– 그 방법은 마이크로 소프트 우리 제품의 위치를 ​​잡았습니다 쪽으로 최근에 우리가 가진 것 같아요 기업을위한 좋은 서비스 BI 우리의 서비스는 20 년 오래되었습니다 올해

우리는 매직의 지도자였습니다 20 년 동안의 사분 그 큰 요인이되었습니다 그리고, 당신도 알다시피, 그것은 정말 잘 짜여진 플랫폼 기업용 BI 기업가 정신과 관련하여 무엇을 의미합니까? 소유하고있는 BI가되고 IT가 관리합니다 권리

프로그래밍 가능하고 스크립트 작성 가능 , FOR 신청 라이프 스타일 관리 힘 BI를위한 목적 사용성을 촉진하기 위해 엔터 프라이즈에서 SEMANTIC 모델 조직 거대한 조직이있는 경우 단일 반 모델의 재사용 더 크고 복잡한 확장 성 요구 사항, 관리 요구 사항 더 위대 할 것이다 그가 어떻게 위치를 잡았는지, 전력 BI는 – 정확합니다 새어 나는 20 년 오래되고 오래되었다고 말합니다

많이 말하는 군 하지만 힘 BI는 정말 빠릅니다 진정한 지도자가 되십시오 SUBSERVICE OR MODERN BUSINESS 지능 공간, 그리고 당신 아시다시피, 당신이 보았다면 최신 매직 쿼드런트, POWER BI 우리의 큰 요인이되었습니다 마지막 순간을위한 위치 – 너도 알다시피, 지난 3 년 이상

괜찮아 그래서 – 우리는 종류가 있습니다 분리 된 기업 BI 및 자체 서비스 BI 우리가 보았던 것은 그것이 아니라는 것입니다 그만큼 분명합니다

BI의 방식의 다음 종류는 IF입니다 정말 비즈니스와 IT 함께 일하고 우리는 A를 보았습니다 많은 고객이있다 둘 사이의 틈을 연결하십시오 제작품

그래서 IT는 많은 감각을 갖습니다 서비스 기능을 가져오고 그들에게 하나씩, ALL-INCLUSIVE PLATFORM BEING POWER BI 및 POWER BI PREMIUM 너에게 줄 것이다 기업용 워크로드 및 셀프 서비스 워크로드 A 단일 플랫폼 기본 서비스와 기본 서비스 힘 BI를위한 통합 생태계

그것이 바로 그 비전입니다 우리는 가고있다 그리고 우리는 만들고있다 그 안에 아주 중요한 스트립 지시 – 우리는 실제로 가지고있다 실질적이고 진지하게 그 안에 중요한 스트라이드 다음 여섯 개 방향 MONTHS 괜찮아 ? 그래서이 지점에,이 곳은 나는 보통이다

해야 할 것 데모 나는 시간을 가지고 15 분, 하지만 이미 바이러스가 생겼습니다 그것을 본 사람은 누구나 알았을 것입니다 내가 설정하는 방법에 집중하면서 위로 – 당신이 알고있는, – THE 큰 데이터를위한 BI 당신

아주 많이 고마워요 그리고 지금 나는 묻는다 REVERSE QUESTION 누가 보지 않았습니까? 너는이 질문들을 생각 해왔다 간접적으로 배타적이어야합니다

너는 해칠거야 WHO NOT WHOIS 데모를 보았습니까? 와우 나는 여기에 토네를 짓고있다 괜찮아 그래서 – 실제로 거기에있다

FAIRLY 중요 번호 켜기 양쪽 모두 그래서 내가해야할 일 통과하지 마라 전체 데모 및 교육의 상당 부분을 사용하십시오 너 완전 해

TRILLUM ROSE DEMO 이 링크를 보러 갈 수 있습니다 그것의 기록 그러나 나는 너에게 빠른 것을 줄 것이다 그것의 버전, 그 때 우리는 할 수있다 방법 설정에 들어가기 – 어떻게 이 유형의 설정 데이타베이스는 크라우드 소스를위한 데이터입니다

쿠리어 서비스 및 드라이버 그 발사하는 스마트 폰 앱을 가져라 각자의 위치 드라이버 표 A 개별적인 위치 IS 위치 측정 값입니다 내가 여기에 있으면 행

알다시피, 모든 것이 보입니다 이 문제에 대한 대처 캔버스 얼마나 행합니다 내가 그것을 수령 한 것은 TRILLION ROWS DEMO를 사용하고 IT에 넣기 문맥 AZURE SERVICES S 9 SKU, 24 원인

십억 이 법은 물리학은 줄을 잇습니다 PET 데이터 및 SIS의 법칙을 규정합니다 이 부분은 육체적입니다 불가능하고, 그러나 LO와 BEHOLD WE 이 일을하고있다

휴식 시간 여행을 떠나십시오 매우 빠르고 인터랙티브 – 상호 작용 그리고 나는 바를 만들려고하고있다 채트, 절벽에서 깨어 라 작업 별, 필터 별 시스템을 떠난 운전자 – 죄송합니다, 회사를 떠났으 니 즉시 응답 시간 PETABYTE DATA QUARTER

우리가 할 일은 우리가하는 일이다 너 우리가 알기 론, 파워 빌 AND AZURE 인터랙티브 서비스, 우리가이 번개를 받았다 빠른 성능은 우리가 캐시합니다 데이터를 메모리에 저장하십시오 우리는 데이터와 캐시를 압축합니다

IT INTO MEMORY 생성 된 QUELIES 인터랙티브 한 비주얼 보고, 답변이 반납 됨 알았어, 빨리 우리의 압축베이스에도 불구하고, PETABLET의 한 부분은 많이 있습니다 DATA of 우리는 A의 데이터를 캐치하고 있습니다

포함 된 총계 수준 기억의 작은 조각 그리고 그 길에서 잠글 수 있습니다 전에는 물리적으로 불가능했습니다 다음 질문은 무엇일까요? 사용자가 세부 수준은 없다 은닉처 그 뒤에는 무엇이 있습니까? 음, 그들은 실행하지 않아도 돼

다른 보고서 무슨 일이 일어나는가, 이것은 A를 제출한다 직접적인 질문자 토요타 출처 출처가이 경우에 전원을위한 모든 데이터 소스 데이타베이스에서 데이타베이스에 관한 BI 및 SQL 데이터 방식 하우스 및 A TON OF OTHERS

지금까지 제출되지 않았다 그 자리에 단 하나의 질문 23 노드 클러스터에서 실행 중 배경 내가 A와 똑같은 일을했다면 SDI SPOT 클러스터에 쿼리하십시오 나는 그것을 실행하지 않을 것이다

시간의 관심사, 그러나 나는 의지 할 것이다 너는 알고있다, VAST 사업의 주요 부분 인텔리전스 QUERYINTELLIGENCE QUE RIES가 있습니다 어떤 형태로 통합되었습니다 너는 높은 캐시 히트를 얻을 것이다 RATIOS 90, 9 그리고 너는 TINY SECT를 사용하여 USEUNLOCK 잠금 해제 이온 메모리 할당

D 전원 BI가 90도를 유인합니다 검색어 및 일부 95 개 LEVELAGGREGATION 및 이를 통해 얻은 질문 근원 그 중 하나도 적지 만, 권리 당신은 당신을 보호 할 것입니다

SQL 데이터의 동시 계량 제한 창고와 그 문구들 이를 통해 얻을 것이다 융통성있게 설계 할 수 있습니다 그것을 통해 얻을 수있는 시스템 SOURCE SYSTEM에 더 많은 것이 있습니다 통제 된, 목표 된, 비협조적인 형태의 질문 소스 시스템과의 거래 잘 했어 너는이 밸런싱에 들어간다

자원을 사용하는 건축술 효율적이고 정확한 쿼트 POWER BI WHAT IT 사용 방법 집계 된 좋은 것 QUERIES TRILLION ROWS DEMI의 TOP 이걸 어떻게 설정했는지 보여 줘요 이야기하기 시작하기 그것 슬라이드에 여기에 명시된 바와 같이 그래서 뭐지? THE AZURE 그 (것)들까지 힘 BI 일은 작동한다 7 월의 데스크톱 릴리스는 당신입니다 특별하게 선택하겠습니다

가져 오기 또는 직접적인 데이터 세트 질문 괜찮아 그것은 두 가지의 결정을 내 렸습니다 당신이 수입을 선택한다면, 모두 가져온 테이블 그리고 당신이 직접 선택한다면 문의 사항, 모든 테이블에 있었어 직접적인 질문입니다

대부분의 모델 – 또는 데이터 세트 더 빨리 가져 왔어 공연 당신이 얻은 큰 데이터 세트 도전의 비트 트리니움 행은 필요 없어요 그 (것)들을 위해 몇몇 종류가 있기 위하여 – 작은 비트가되기 위해서는 비용이 많이 든다

관리 할거야, 그렇지? 너는 그 날을 거듭 추려 야해 메모리에 가끔은 가질 수 없을 수도 있습니다 충분한 메모리 또는 실행할 수 있습니다 메모리에, 당신이 원하는 효율적인 평균 사용 기억

귀하의 THRESHOLD IS NOT 필수적으로 TRILLION ROWS 현재 힘 BI 프리미엄, 가장 큰 – THE CAP ON THE DATASET 사이드는 10 기가 바이트입니다 우리는 우리가 진술했다 그 한계로 일하기 주요 단계 중 하나 선거권의 우선 순위 설정 지원 서비스 분석 서비스 더 큰 모델 우리는 저 리프팅을 계획하고 있습니다

10 기가 바이트 제한 및 더 가까이 AZURE 서비스 모델 크기 우리가 원하는대로 메모리 사용법 만족스럽지 않을 수도 있습니다 거기에는 많은 시간이 있습니다 노력과 돈 및 관리 그것을 대체하기위한 순간 데이타베이스는 캐시에, 오른쪽

그래서 더 큰 데이터가 더 많은 도전 과제로 새로운 메모리 캐시 생성 그래서 어떤 복합 모형이 허용할까요? US TO 너가 충분한 기억을 가지지 않았다면 도전 과제가 너무나 많습니다 직접 질의를하는 스위치 그 때 당신은 천천히 있기를 바랐다 특별한 성능 그것이 있기 때문에 큰 모델 제출 됨 – 직접 물음표 르에는 연계 된 질문이 있습니다

모든 사람을위한 자료 제공 사용자와의 상호 작용 보고서에 나와 있습니다 그렇다면 당신은 어떤 사람이 있습니까? 데이터에 대한 성능 문제 전형적으로 질의 7 개월 후에 우리는 지금 – 너는 지금 테이블을 집을 수있어 테이블을 가져야 할 레벨 직접적인 쿼리 또는 가져 오기를 수행하십시오 괜찮아

이 개방은 많은 시나리오를 열어줍니다 둘 모두의 최고를 제공합니다 전통적으로 당신과 같은 세상 하나를 선택해야합니다 기타 및 전체 직접적인 수입품 및 선택 표 수준 은닉처 이 혼자가없는 회분은 매우 유용합니다

특색 예를 들어, 그냥 피킹 할 수 있습니다 가까이에있는 특정 테이블 실업 수당 요건 직접적인 질문이 있으니 가지 마세요 캐시에 그리고 라틴계는 줄이거 나 다른 모든 것 공식 외형 치수 표 보고서를위한 보고서, 시간 단축 매우 빠르다 그러면 너는 가질 것이다

책임감있는 최상의 경험 그래서 이것은의 구성 요소입니다 모듈 기능 우리는 세부 사항으로 갈 것입니다 세포 수는 10 억 개에 이른다

행 우리는의 모임을 만들 수 있습니다 세포 다른 표 셀 셀 AG 그리고 훨씬 적은 비용이 들게 될 것입니다

셀 수는 NUMBER입니다 셀에 10 억, 셀이있는 경우 AG의 데이터 및 지리 정보 ID 수 많은 사람들 당신은 실제로 A를 원할 수도 있습니다 낮은 레벨의 집계 표 그거야 너는 전형적으로 가지지 않을 것이다

집계 테이블의 번들 너는 그 종류가 있다면 당신은 단결시킬 것입니다 하나의 낮은 수준의 회합으로 표 이 특별한 경우에, 이 집계 테이블은 수천의 지리적 위치 똑똑한 신분증 데이터 시트에서 MEGA 데이터 제공 그 엔진을 수행하려면 그 안에 들어있는 질문들 사용자 셀 수의 합계를 요구하십시오 셀스에 대해 아는 것이 없습니다

QUERIES는 세포와 내부 질의 응답 및 수집, 오,이 질문이 AT에 있어야합니다 올바른 분뇨 YEAR AND CITY 그것들은 둘 다 속성에 있습니다 이 테이블은 관련이있다 영업점에서 바로 가기 표

내부 리디렉션 판매 AG 테이블과 히트 메모리 캐시 및 온다 BACK SUPER FAST 꽤 직설적 인 데이터 비트가있는 경우 모델링 배경 천천히 똑바로 본다 당신에게 걸레질은 끝났어 여러 차원에서

네가 몇 군 다차원 회합 이것과 비교 된 백업 이 모든 모임 중개 포인트 및 그림 당신이 이끄는 사람은 누구입니까? 총체적 또는 전체적으로 간단한 모델링 배경 우리가 다른 질문을 제출하면 이 하나는 세포의 합계입니다

완벽하게 이해할 수있는 사용자 판매에 대해 아는 것이 없습니다 AG 영업 활동은 그로부터 벗어났다 고객 이름과 엔진 고객 이름을 알려주십시오

나는 회피 할 수 없다 그 때문에 테이블 특정 판매점 AG는 그곳에 기록합니다 하나의 지형이지만 여러 고객 및 그렇지 않을 것 고객이 아는대로 너무 좋았어 집합 나는 FLY에 착수 할거야

내부적으로, 완전하게 사용자 및 직접적인 질문을 제출하십시오 출처 괜찮아 그냥 날아라 만약 내가 – 줄리엣 행 데모에서 나는 세부 수준 아래로 움직이다

보게 될거야 QUESTIONER TOW HDI SPARK 그 중 하나가 바로 그 것이다 그게 여기에있다 화이트는 여기에 표시되어 있습니다

직접적인 질문 – 멍청 아 우리가 왔을 때 그것은 푸른 색이었다 메모리 캐시에서 충돌하기 권리 그래서 날짜 표가 돌아 왔습니다

직접적인 질문 사이 가져 오기 이것은 중요합니다 – AN 너가 인 경우에 중요한 개념 치수 모델링 사용하기 집합 날짜가 훨씬 더 효율적입니다 이 보석의 역할, 오른쪽, 직접적으로 사용할 수있는 곳 질의 및 수입 제출하고자하는 경우 이 과정을 거쳐 내려갑니다

날짜가 없다면 – 생각하면 그것의 개념적으로 모든 10 끌어 오기 십자가는 행진을 시작하고 조인을 시작합니다 오늘 힘을 합쳐서 힘을 합치십시오 실천에서 그것은 약간의 비트입니다 그보다 더 효율적입니다 우리는 그것에 대해 이야기 할 것입니다

분이지만 갈 수는 없다 조인 또는 작업을 푸시하려면 날짜가 맞지 않으면 출처로 QUERY 별 말이 돼? K와 FORTH 데이터 조회와 가져 오기 사이 전체 셀 또한 밀어 넣음 근원을위한 운영에 의하여 저것 오늘과 영업 AG 1 캐시에서 메모리를 가져옵니다 느낌을내는거야? 실제로 3 개의 저장소가 있습니다

우리가 소개 한 모드 복합 모델 우리는 직접 가져 오기를 가져 왔습니다 그리고 세 번째로 하나의 청동 보석 쥬얼은 바로 이걸 의미합니다 너는 뒤에 입을 수있다

간접적 인 쿼리와 성능에서 중요하다 점 권리? 괜찮아 그래서 우리는 다시 올 것이다 그리고 조금씩 더 깊게 지내라

더 깊고 더 깊숙한 곳 나는 무엇부터 시작 할까? 이 제품은 데스크탑 용으로 적합합니다 치수 모델 치수 모델 조각 및 우리는 질문을하면 어떻게 표시할까요? 큰 데이터 모델로 작업하십시오 당신의 정의에 따라 빅 데이터

SQL 데이터웨어 하우스 및 엄청난 액수의 매우 평행 한 데이터 체계 그래서 보자 나는 넘어서 넘어갈 것이다 이 데스크탑 파일 그래서 여기 모델 생각입니다

이것은 새로운 사람 다이어그램보기 내가 볼 수있는 곳 이 테이블들과 우리가 얘기 할 것입니다 이 작은 비트에 대해 더 알아보기 후에 현재 볼 수 있듯이 모든 것이 직접적인 질문입니다 권리 그건 단지 작동하지만 이미지는 그렇다

판매액이 10 억 라인을 갖는 경우 그리고 캐시에 비쌉니다 대신 우리가 할 수있는 일은 창조적 인 것입니다 이 판매 AG 테이블, 모든 권리 그리고 세포의 골격 너는 그것의 합계라고 생각한다

제품 ID 및 SUBCATEGORY ID 많은 사람들이 거기에 적지 않습니다 교차 결합이 될 것입니다 판매량과 비교합니다 괜찮아

그리고 판매 AG 테이블입니다 숨겨진 숨겨진 이 모든 집계 테이블 숨어 있어야합니다 다시,이 모든 개념은 소비자로부터 방해가되었습니다 현재는 집계 중입니다

PUBLIC PREVIEW 우리는 주간 커플을 런칭했습니다 PUBLIC PREVIEW에 게시 됨 언론의 열기가 뜨겁다 조만간 IT 부서에서 지원 될 예정입니다

매우 빠른 BI 서비스 나는 어떤 일도하지 않을 것이다 엄숙한 날들과 나는 내게 배운다 그 지역의 실수 조만간 IT 부서에서 지원 될 예정입니다

전력 BI 서비스 그 지점에서 IT가 계속 될 것입니다 한 번 마지막까지 공개 미리보기 우리가 원하는 기능 일할 총회 행 수준 보안 있음 버전, 당신은 행할 수 없다 수준 보안 및 모임 동일한 데이터 세트에서

분명히 우리는 활발히 활동 중이다 그와 호기심을 가지고 일하기 조만간 지원 될 것입니다 그 시점에서, 한 번 총회 로우 레벨 보안 기능, 그것은 거의 확실하다 그럴 경우 데이터베이스, 집계 테이블 주소 지정은 불가능합니다 무엇을 의미합니까? 이를 통해 설정된 데이터에 액세스하는 경우 서비스의 행 – 내가있는 경우 청력 모달은 광고입니다

배경의 서비스, 나 DA X를 실행할 수 있어야합니다 집계에 대한 질의 나 자신 때문에 테이블 관리자 이 데이터베이스를 게시하는 경우 힘 BI 서비스 및 간행물 친척과의 관계를 통해 보안 또는 그렇지 않으면 테이블 사용할 수 없게됩니다 IT와 같은 DAX QUERY 실행 OBJECT LEVEL이 존재하지 않습니다 보안이 효과적입니다

분화 촉구 표 나 자신의 짧은 버전 언제나하고 있다고 소리 쳐 통일 테이블 숨김 그 상태로 유지하십시오 집계 테이블은 숨겨져 있습니다 그리고 다른 것을 지적해라

표 그냥 다른 표 모델, 왜 그럴까요? 다른 점은 다르다 다차원 우리가 왜 다른 사람과 만났을 까? 표? 이유는 단지 다른 것입니다 표

여러 가지 이유 이것은 외부와 함께 작동합니다 설계된 협의 나는이 집계를 나타낼 것이다 데이터웨어 하우스의 테이블 ETA 프로세스 및 사용 사용 증가하는로드 프로세스 내 데이터웨어 하우스의 세부 정보 분리 된 상태로 유지하십시오

표 직접 QUERY로 놓고 현재 매장을 사용하여 IT를 최적화하십시오 데이터 창고와 함께 모든 싱글과의 혼자 TABLE BEING DIRECT QUERY, 회람은 그것을 위해 사용할 수있게 만든다 가져 오기가있는 대형 모델 그 사람이 게임 체인지 선수와 함께

다른 테이블의 사실상 허용 그것은 외부와 함께 작동합니다 유지 된 회랑 집계 테이블이 있어야합니다 내 데이터웨어 하우스 준비된 테이블이 있어야합니다

스파크 또는 그 성능 비행 부분의 골목 OF THE 이 테이블 뒤에 쿼리 많은 건축 옵션 그곳에 우리가 아는 한 아키텍처 질문은 절대로 없습니다 하나의 모든 답변을했습니다

많은 건축술을 제공합니다 옵션 이 JUST에 대한 또 다른 포인트 다른 테이블 및 따라서, 증가하는 리프레쉬를 사용할 수 있습니다 이에 증가하는 재생은 기능입니다

그 – 증분 기능 만 테이블 경우 작동합니다 점차적으로 새로워 질 수 있습니다 은닉처 현재 직접적인 쿼리 및 그것이 나에게 그것을 할 수 없다는 것을 말하면서 엄청나게 큰 요점 집계조차도 데이터 세트 탁월한 크기의 테이블 그리고 그것이 될 지점에 증감 재판

당신이 십분이라면 – 년 데이터 세트, 귀하의 공식 적재는 모두를 불러올 것입니다 10 년 후 시간은 그러나 그후에 보풀 변화 한 그날을 불러들입니다 잃어버린 5 일 동안의 예를 들어 데이터입니다 증가하는 재생은 그것을 만든다 큰 돈을 더 많이 싣기에 더 효율적 데이터는 메모리에 저장됩니다 인상적으로 새로 워진 집합 잘 테이블

왜? 다른 테이블과 왜 우리가 이 같은 디자인 이건 집계 테이블입니다 나는 수입을 위해 그것을 원한다 나는 설정하지 않았다 나는 설정하지 않았다

UP THING A 그레이 빙 표 초창기부터 시작하기 청결 슬레이트 이것은 복합체를 사용하는 것입니다 미국을 좋아하는 모델 기능 저장 모드 저장 나는 그것을 수입하고 싶다

처음으로 온 것, 오하이오 몇 가지 메시지는 여기와 테이블이 필요할 것입니다 보석 그리고이 책상은 의무 데스크탑의 주요 기능 이것은 고도로 조언할만한 것입니다 고객 상태 및 제품 카테고리 그리고 그걸로 관계와 그 계획 그 테이블은 무엇입니까? 예정대로 혜택을 얻으십시오 가져 오기와 동시에 유품을 그렇다면 우리가 직접적인 질문 – 그럼 어떻게 되나요? 우리는 직접 질의 할 수있다 우리가 있다면 직접 질문하기 가져온 데이터 제공 및 훨씬 더 효율적이다

해결책 당신이 가진다면 정말 도움이 될 것입니다 이 대용량 데이터 세트 AZURE와 잘 어울리지 않습니다 50, 150 개의 테이블이있는 서비스

100 개의 탭이있는 경우 1 개가있는 경우 그 르 모델 직접 간다 당신의 데이터로부터의 질문 창고와 캐시 테이블 데스크탑이 최소 크기 설정해야 할 사항 보석 무언가를 절약하십시오 이것들은 그 테이블입니다

보석에 맞추기를 원합니다 ONES 그래서 내가해야할 일은 – 이 새로운 다이어그램보기는 나를 허용합니다 세트의 속성을 설정하려면 하나의 공통 속성 이 두 가지만으로 시작하십시오

이 보석으로 세트해라 그리고 그것은 새로워 질 것입니다 거기에있는 데이터, 그리고 그들은 그대로 – 직접 검색어 또는 수입 지금 우리가 돌아올거야 여기에 설정하고 수입 다시 생각해 냈어

이것들은 설정 될 필요가 없다 보석 이 세 가지 그리고 저기로 가세요 잠재적 인 보안 위험이 우리에게 미칠 것입니다 나중에 얘기 해봐

전적으로 개인 정보 보호 관련 수준 및 검색어 전원 쿼리 지금 우리는 저장 모드를 설정합니다 권리 이 지점의 수입 표 내가 수정하면 새로 고침이 시작됩니다 원했다

그리고 내가해야할 일 바로 가기 총회 대화 이것이 내가 셋업 한 곳이다 통합 맵핑 이 모든 것이 내가 말하는 곳입니다 QUELIES GET을 얻는 엔진 영업점 AG로 리디렉션 됨

당신이 볼 수 있듯이, 열 여기 판매 AG에서 포함 된 테이블 외래 키 나는 떠나기 시작할 것이다 혼자 외계인의 열쇠 이 모델들은 필수적이지 않다 당신이 외래 키

우리는 그걸로 돌아갈거야 조금 늦었다 내가 뭘 봤는지에 대한 예외 그리고 우리는 그걸 다시 할 것입니다 나는 홀로 남을 것이다 자동 날짜 키를 말하지 않기 열쇠에 의해 그룹화된다

셀 또는 날짜 키 나는 그 일을 바로하지 않을 것이다 지금 그래서 나는 그것을 단지 제거 할 것입니다 나는 아래로 곧장 갈 것이다

실제 총체적 가치 괜찮아 우리는 CELL 금액을 얻었습니다 약간 집합

우리는이 계산해 봤어 데이터 유형에 대한 위반 및 다양한 기타 검증 AM에 대해 이야기하지 않을 것입니다 지금 테이블 행 합계입니다 똑바로는 안된다

1 대 1의 관계 DAT 기능 우리는 그걸 꼭 보게 될거야 분 SAYS의 판매액 합계 이 판매액은 판매 AG 테이블은 준비되었습니다 그것에는 판매의 합계가 있고 판매 표의 금액 이 세 가지 기본 정보에 의해 그룹화 됨 열쇠 권리

그래서 우리는 앞으로 나아갈 것입니다 매상 매상 양 괜찮아? 매우 직설적 인 직급 스트레이트 TFORWARD 단위 가격 합계

이것은 다른 미터법입니다 세포 세부 테이블 괜찮아 우리는이 사실을 말할 것입니다 의 합 판매하지만이 시간은 판매하지 않습니다

금액, 그것은 단위 가격이며 이 계정은 SUM이 아님 – SUM이 아닙니다 판매 단위 계정 가격 AND LASTLY 우린 이걸 가지고있어 특별 한

줄이 있다면 영업 표 괜찮아 테이블을 지정했습니다 DAX 계정 손실 기능 그걸 이끌어 갈거야 통합 매핑

너를 볼 때 너는 볼거야 보고서에 실린 금액과 그 정보 할머니는 줄을 감쌌다 카운트 기능 사용하기 그 계산 표 사용 행 매핑 괜찮아

지금은 그게 전부예요 할 일 우리는 여기에 다시 올 것이다 순간 어서 가다

과 신청하고 내가 무엇인지 지금해야할 일이 QUERY입니다 DATASET 및 DAX STUDIO 사용 히트 할 때 실제로 기능을 없애라 THE – TO DETECT 날씨는 당신이 캐시를 얻고있다 안타깝게도 DAX STUDIO는 공개 소스입니다

도구와 위대한 닥스가 많이 있습니다 디버깅 기능 포함 및 포함 – 포함 우리가 골목에 닿을 수 있는지 우리가 할 첫 번째 일은 이 쿼리를 실행하십시오 이 검색어는 간단히 묻습니다

연간 매출액 합계 에 속한 성질 히트 수있는 날짜 치수 은닉처 알아 보자 우리는 우리의 연구 결과를 얻었다 타이밍까지 과

괜찮아 괜찮아 그래서 IT – 내가 보여준 것입니다 캐시 히트있어 나는 왜 그것이 아닌지 확신하지 못한다

SQL 표시 내가 다시 만나게 해줘 이 괜찮아 우리는 사기가 있음을 보여줍니다

XM SQL을 IT에 메모리 캐시의 데이터 그렇게 즉시 더 이상 어떤 것도 찾고있다 그것이 캐시를 타격했다는 것을 압니다 영업 표는 직접 QUERY입니다

그리고 판매 표는 수입품이다 그리고 분명히 영업 AG 테이블 및 직접적인 질의를 실행하지 않았다 출처 우리는이 손재주를 가지고있다 되감기 이벤트 이것은 확장 된 사건이다

침입자와 안내자가 함께 할 수 있습니다 우리는 일치를 얻었습니다 IT가 미국에 대해 더 자세히 설명합니다 당신은 – 슬픔을 알았습니까? 실제 질의 및 – 우리가 가지고있는 칼럼 매핑 익숙한 나는 실제로 프로 바이더가있다 잘 실행

그러면 너는 무시할 것이다 맨 위에있는 스터프, 너는 할 수있어 이 질문에 대한 답변을 찾으십시오 지금 그리고 우리는 총 테이블을 얻었다

일치하는 것으로 다시 채우고 이것은 데이 팩 엔진 질의 및 사용 프로필 확장 이벤트 괜찮아 알았어 지금 나는 가고있다 이 쿼리를 실행하려면 대신에 똑같은 질문 그것도 합계를 요구하고있다

판매하지만,이 시간에 의해 그룹화 상품명 우리는 데이터를 가지고 있지만 이걸 가지고있어 제품 이름으로 시간 그룹화 제품을 잊어 버린 경우 여기, 그리고 이건 안돼 – 이것은 설상력이 아닙니다 판매 AG 테이블을 명중 할 수있다, 오른쪽, 그것은 하위에 관련되기 때문에 제품 카테고리 및 될 수 종류를위한 많은 제품

따라서 사기는 아니지만 SQL 미국의 직접적인 QUERY SQL 표시 QUERY가 제출되었습니다 비행장에서 우리가 재 포장에 가면 여기에있는 사건 너는 그 시도를 볼 수있다

실패한 괜찮아 그래서 모든 것이 우리처럼 일하고 있습니다 예상 할 것이다 똑바로 간단하지만 개념을 비난했다

괜찮아 그리고 지금 나는 가려고한다 이 사용 시간에 대한 다른 질문 COUNT 행 계산 테이블 행은 IS 여기로 이끌어 갈 것입니다 그리고 여기 우리는 검사를 받았다

메모리 캐시 및 가져온 메모리 매치 테이블 리 레이드 녹이다 COUNT 행 수위 행 수 질문자를 실행시켜 주셔서 감사합니다 THE AVERAGE를 요구합니다

이것은 내가 어디에서 언급하지 않았던가요? 총회 중 하나에 하나 DAX 집계 기능 기능 우리는 아무것도 설정하지 않았다 평균 및 그것을 준비하는 것이 어렵다 – 평균 집계 열에 입력하십시오 집계 테이블,하지만 흥미 진진한, 우리가 이걸 실행한다면 QUERY, 우리는 여전히 AG HIT를 얻습니다

스캔 및 되감기 오른쪽 일치를 찾았습니다 그래서 어떻게 작동합니까? 이 일을 한 이유는 우리는 단가의 평균값과 만약 그렇다면 돌아와 기억하고있는 단위 가격은 우리가 SUM의 양쪽 모두를 설정하는 칼럼 그리고를위한 것 WHOOPS

합계와 회계 내부적으로, DAX AVERAGE 기능은에 의해 처리됩니다 엔진 그리고 엔진은 가고있다 내부적으로 SUM과 바로 그걸 나누세요 그래서 내부적으로 A를 생성 할 수 있습니다

SUM에 대한 별도의 하위 쿼리 그 사람의 수는 여전히 집합 SO 평균은 잘 작동합니다 최대 계정이 아님 다른 DAX가 있습니다 작동 할 수있는 기능

그리고 다음에 내가 갈거야 실행은 분명한 수치입니다 설 정하면 지구 카운트가 적용됩니다 AG HIT NOT 멀리 가지 마세요

그것은 AG와 우리가 할 수 있지 않은가? 이 주소를 지정하십시오 이것에 관해서 이야기 해 보자 제출 됨 데이터 쿼리 및 사용자 DISTTINGTD를 참조하십시오 여기서 질문하기 그래서 우리는 무엇을 할 수 있습니까? 질문

분별력을 위해 우리가하는 일 우리는 분별력을 요구하고있다 고객의 수 스키 늙은 통역 대화 훌륭한 열쇠로 관리하십시오 AG HIT를 얻으십시오

엔진은 똑똑해졌습니다 GROUP BUYS ON을 (를) 지정하지 않았습니다 열쇠와 내가 알고있는 건 알았어 그룹 AG와 설립 관계 나는 AG와 IT JUST 만 명중시킬 수있다

공장 번잡함 및 판독 가능성 자신 만의 – 귀하의 의지에 따라 독자의 이해 의 IT 그룹 구매 판매 자동 날짜 키 그룹 별 판매량, 고객 키 AND GROUP BY -이 하나는 영업을하지 않아도 꼭 가야합니다 제품을 얻는 제품 부대 키 최종 키는 제품, 부대 키

우리는 실제로이 일을 할 수있었습니다 이걸로 우리는 고객 키가 A 인 엔진 GROUP BY COLUMN 그래서, 그래서, 우리는해야만합니다 거기에는 모든 가치가 있습니다 고객 키별로 그룹화해서는 안됩니다

그것이 모든 것을 가지지 않는다면 그 안에 가치 그것이 모든 가치를 가지고 있다면 거기에, 실행에 대한 분별력 질문을 식별하고 실행하기 대접 테이블과 호프만 GO 센스가있는 경우 저장하십시오 만약 내가 그 분별을 실행한다면 COUNT WE 데이터와 웹에 대한 스캔 결과를 얻습니다 일치를 찾았습니다 그럼이게 쓸모있어

대본 어떤 분별력 QUERYERY 직접 쿼리에서 수 있습니다 천천히, 그리고 – 나만 오전 그 점을 지적해라 COUNT 명은 좋아지지 않을 것입니다 모든 세포질의 은총 분별력 문제

데이터를 캐시에 저장하는 경우 메모리 A DISTNCT COUNT 문지방 두 사람과 다섯 사람 사이 백만 개의 가치 가치가있는 곳 너 히트 겠어 어떤 일을 시작하십시오 성과 문제 판매액이라도 10 수백 개의 행이 캐시 된 테이블 MEMINGRY와 3 천만의 열쇠 고객 가치관의 중요성 개선되었으므로 3 ~ 4 백만 달러를 가질 수 있습니다 AG 테이블에 놓인 줄은 10에 액세스하는 것보다 낫습니다

백만장 자 테이블 메모리에 알았어 그럼에도 불구하고 아직 – 일부 DISTINCT COUNT로 제한 이 경우 세부적인 테이블 직접적인 질문입니다 당신은 오래도록 개선 할 수 있습니다 그룹을 설정하면 – THE DISTNCT VALUES 그리고 너는 완전한 목록을 가지고있다

DISTINCT VALUES의 집계표 괜찮아 괜찮아 여기에 마지막으로 쿼리 -이 하나 우리는 HIT 9 AG를 기대합니다 이미 우리가 봤기 때문에 판매액 합계액 HIT THE AG

그리고 그것은 AG를 친다 나는 이걸 보여주고있는 이유 야 이것은 조금 더 많은 것 복잡한 측정 또는 계산 우리가 가져 가고있는 카라테 판매 합계와 그것을 나누기 줄의 수는 없습니다 단순한 합계 대책, 권리 이것은 복잡한 조치이다

점수로 나눈 의견 차이 TH의 비율로 다중 곱하기 이자형 다른 사람 한 명당 표 동부 표준시 CETERA, 동부 표준시 내부적으로,이 복잡한 대책 개념적으로 A가 개발 될 것입니다 Folders를위한 LOGICAL QUERY PLAN SUM MIN-MAX 계정에 이르기까지 정보가 없으면 볼 수 있도록 실행하십시오

각 기관에 대해 AG에 도달 할 수 있습니다 하위 쿼리 의 합을 위해 한 번만 셀 및 계정에 대한 한 번 행과 IT가 그것을 결정했습니다 그것들 둘 다에서 얻을 수있을 것입니다 캐시하고 히트

하지만 물리적 질의 계획은 다른 비트이지만, 논리적으로, 너는 어떻게 생각할 것인가? 그것 잘 대처합니다 괜찮아 괜찮아 나는 가봐야 겠어

고마워 많은 감사합니다 정말 고맙습니다 이것은 – 이것은 거대하다 – 나 의미, 나 – 나는 모두가 아니다

내가 좋아하는 사람처럼 느껴졌다 열쇠와 물건, 그러나 이것은 RIT는 가장 큰 게임이다 인터랙티브 용어의 변경자 내 큰 데이터 분석 역사 속에서의 여론 세상에, 너 알지 이것은 거대하다 나는 이것이 의미하는 바가된다

인터랙티브 분석 그 당시의 방대한 데이터 전에는 불가능합니다 이것은 진정한 게임 체인저입니다 그리고 나는 내가 진실이라고 생각한다 지금 당장 시위가 나온다 어떤 것보다 더 간단합니다

보다 향상된 성능 우리가 제공 한 기능 GRA GREGATION AND MAS 에스 치수 나는 우리가 무엇을 요약 할 것인가? 을 통하여 보석에 관한 첫 번째 이야기 저장 모드 나는 이것을 요약하고 싶다 이것에 대해 생각하는 방법 그것의 개념적 방법 가질 수없는 힘 BI 허용 힘 BI에 힘을 실어 라 측면

그것은 JOIN과 그 것을 밀어 넣을 수 있습니다 아래쪽으로 작업 그룹 더 많은 소스 실력 있는 보기를 위해, 우리는 모형이있는 경우에 판매액 10 억 달러와 마찬가지로 질의와 데이터 테이블에 올라라 가져 오기입니다 현재의 건물에서, 당신은 많이 갈 수는 없습니다

관계,하지만 너무하지 진화 한 BI의 먼 미래 데스크톱 너는 그렇게 할 수있을거야 이 방법에 대해 생각한다면 IT가 작동합니까? 실적 OMENTMIZEED 당신이 그것에 대해 생각한다면 모든 10 억의 행을 가져올 것입니다 DQ 모드의 영업 테이블에서 그리고 얻는 힘 BI에있는 JOIN를하십시오 날짜 테이블 및 모든 날짜 데이터가 메모리입니다 약간의 연습에서 조금 더 보다 효율적으로 생성 그 원인이 펠러 인 경우 근원에 아래로 밀 것이다

그 방법은 파워 쿼 리입니다 이 교차 소스를 사용합니다 그리고 그것들에 의존하는 전원 조회의 개인 정보 보호 수준 필터 – 당신이 어디서 왔는지 모든 필터 회원 질문 어느 쪽도 효율적이지 않다

인원 제한 너는 그걸 넣을 수있어 필터 IT는 아주 많습니다 SUM 그룹을 밀어 붙일 수있는 효율성 999의 출처로 사례

대신 수행하려는 작업 요일은 보석입니다 QUESTIONER 고맙습니다 너는 날짜 테이블 만 만진다 메모리 팩트 테이블의 다른 것들 날짜 속성으로 그것은 메모리에 반환됩니다, 요청하는 쿼리를 실행합니다

연간 매출 합계, 그 합계 운영에 의한 그룹이됩니다 소스 아래로 밀어 넣습니다 모든 권리, 그래, 다시, 그냥 너 – 위험을 피하기 위해 전력 BI를 허용합니다 힘 BI에 JOIN을하기 위하여 훨씬 더 많은 쪽 실력 있는 여기에 기본 규칙이 있습니다 – 그리고 집계는 이것을 요구한다

AG Hit를 얻으려면 만약 당신이 관계가 있다면 그 (것)들에 따르지 않는 규칙 너는 얻지 못할거야 총집합 이것은 객실의 요약입니다

단일 출처 관계에 관한 테이블이 될 수있다 보석을 얻는 이유는 무엇입니까? 크기는 – THE 치수 표는 보석입니다 테이블 그게 복잡한 이유는 모델의 선전 보석 저장고는 최고입니다

유능한 그건 그 데모를 요약하자 관계가있는 것으로 예언 된 보석 치수 표 및 들어가기 이민 및 설정되지 않음 그룹 별 열 우리는 아직 히트를 얻고있다

수와 함께 외국 열쇠와 분별력이 현저하게 높았으며 AG 히트와 러닝 얻기 DAX STUDIO 및 TRACING의 DAX 우리가 얻은 것과 똑같이 AG 조회수 또는 아니요 그리고 우리는 안으로 움직일거야 우리가 설정하는 방법의 순간 큰 데이터 모델입니다 큰 데이터 모델 큰 데이터 – 데이터웨어 하우스

언제 내가 큰 소리로 말할 때 큰 데이터를 말할 것인가? 데이터 천천히 다르게 형질 우리가 그걸로 굴러 갈거야 나는 잠시 멈추고 싶다 누구도 그 질문이있어

– 내가 커플을 데려 갈 수도있어 질문들 나는 얻는 내용이 많다 그러나 치수에 관한 질문 원하는 경우 모델링하거나 할 수 있습니다 똑바로 움직여 라

확실한? 예 예, 내가 이해한다면 메모리에 대한 질문 집계 테이블, 설정 가능 리프레쉬의 빈도 그 테이블에 특별히? 절대적으로 당신은 할 수 있고, 실제로 내가 원하는 다른 기능 우리가 열리고 있습니다 힘 BI 프리미엄을위한 점 아무런 의미가 없을 수도 있습니다 사람들이 지금 당장, 하지만 절 믿으세요 거대한 금액의 AG의 기능 최종 서비스

그것은 당신에게 훌륭한 곡식을 줄 것입니다 통제 – 어떻게 수행합니까? 귀하의 청량 음료, 귀하의 청회 음료 구획과 그 같은 것들 EVEN – 새로 고칠 수있는 것 개별 테이블 또는 개별 파티션 및 전원 BI는 비약적입니다 – 우리는 그 순간에 토론합니다 짧은 대답은 예스입니다 끝내주는 말을해라

곧 출시 될 예정입니다 나는 하나 더 질문을받을 것이다 그리고 계속 움직여 라 예? 그래서 내가 가지고있는 질문 약간의 시간을 요구 받았다 이게이 서비스를 의미합니까? 기숙사에 입원 할 수 있습니까? 그걸 포크 가져 주셔서 감사합니다

의문 아니야 20 번에 걸쳐 서비스가 시작되었습니다 연령 시장의 시장 지배자 설치 횟수

나는 많은 번호를 가지고 있지 않다 이 위로,하지만 절대적으로 20 년 동안의 시장 지배력 그리고 다른 사람들과 가까이있을 가능성이있다 20 년 다른 것은 그것이 무엇인지입니다 파워 빌은 약간의 비트를 구성합니다

힘 BI는 기본적으로 부드럽습니다 서비스 방해가 아닌가? 분석 서비스의 맨 위에 힘 BI에서 사용법 일뿐만 아니라 힘 비 프리미엄은 계속합니다 성장, 아직 분석 중입니다 궁극의 서비스 서비스 약관 서비스중인 제품 그들은 알 수 없다는 것을 알고있다

어서 가라 그래서 거기에는 많은 고객들이 있습니다 SQL 서비스를 계속 사용하고 있습니다 우리는 – 빛을 무시할 것입니다 힘 BI에있는 높은 특징 AZURE 서비스 및 SQL 서비스 서버가 릴리스입니다

모든 기능이 좋아하는 것은 아닙니다 집계는 힘 BI에서만 일어난다 그러나 절대적으로 아닙니다 AP 서비스가 멀리 가지 않습니다 우리는 단지 다음을 원한다 – 여섯 번째 이달, 우리가 실제로 일하고 있습니다

서비스 기능 제공 BI를 발전 시키십시오 SO 힘 BI는 A로 BOMOMES 슈퍼 분석 세트 서비스 그리고 너는 너에게주는거야 – 네이티브 서비스 생태계 당신이 가지고있는 경우에 아닙니다 서비스중인 서비스 힘들지만 너는 내 것이어야한다

대단합니다 그들은 지원 될 것입니다 뜻밖에 AZURE 서비스 중 하나입니다 가장 빠른 성장 AZURE 서비스 이게 다가오는 길은 없습니다

곧 완벽하게 지원되는 Around 장기 하지만 전략적으로, 우리는 – 우리가 원하는 힘 BI는의 가장 큰 것이기 위하여 기간 당신의 질문에 답하는 것입니까? >> 그걸 부탁해 줘서 고마워 의문

한 번 더 묻기 만했다 하나는 자연적이다 다음에 나올 법한 시험을해라 서비스에서 축하드립니다 파워 비엠 프리미엄

정확히 무엇인가? 전략 목표는 달성해야 할 목표입니다 여러분은 쉽습니다 많은 과정들과 침입자와 생명의 통합 주기 관리 및 모든 것 WITH WITH WITH WITH WITH SQL 서비스 데이터 도구 및 소스 그 우리는 그것을 아주 쉽게 만들고 싶어 MOD로 바꾸기 및 바꾸기 파워 비엠 프리미엄

언제 우리가 처음으로 소개 한 ANALYSIS SERVICES 그것은 당신이 할 수있는 큰 거래였습니다 SQL 서비스 만 사용하십시오 PREM 모델 및 서버 설정 서버 이름과 바로 가세요 일 했어

AZURE ACTIVE DIRECTORY AND WINDOWS 디렉터리, 차이점 그것은 단지 노력했다 우리는 똑같은 개념을 원합니다 손쉬운 운반과 이동을 제공하십시오 BI PREMIUM의 힘을 얻으려면 나는이 마지막 질문을받을 것이다

그리고 나서 나는 움직여야 해 그게 다야? 나는 보여주고있다 에서 사용할 수 있습니다 정부의 클라우드 현재는 사용할 수 없습니다 힘 BI 서비스에서

하지만 우리의 개인 프라이드는 없습니다 사람과 그것도 곧있을 것입니다 그리고 그것을위한 작은 지체가 될 수도 있습니다 정부의 클라우드에 참여하십시오 나는 정확하게 확신하지는 않지만 우리는 이것들을 만들기 위해 절대적으로 계획한다 사용 가능한 기능

전혀 우리는 가고 계속 나아갈 것입니다 지금 깊은 데이터로 돌아 가기 모델링 세계 괜찮아 괜찮아

너무 큰 데이터 모델 그래서 나는 되돌아 가려고한다 TRILLION ROW DATA SET 그래서 이것은 A로부터 데이터를 얻고 있습니다 스팟 클러스터 우리는 쿼터입니다 유산 데이터

모델 여기 – 감사합니다 흠뻑 그건 시험 이었어 나는 너에게 기뻐한다 깨다

나는 여기 트리 륨 줄에있다 데모 그리고 여기 모델 이건 S를 봅니다 활동

TRILLION ROWS 및 그 직접적으로 QUERY와 HDI SPARK에서 나옵니다 집계 테이블은 안으로있다 메모리와 숨겨진 것, 그러나 주요 차이는 A가 아니라 이 단일 관계 전체 모델 이 거대한 데이터 모델들 PETABYTE OF와 거래 할 수 있습니다 데이터 그들은 PETABYTE에 가입하지 않았습니다 데이터가 매우 잘 설정되었습니다

이것이 무엇을 의미 하는가? 효과적으로 FACT 테이블 모든 치수 특성 그것을 비장하고 저장했다 AZURE DATA LAKE STORE의 파일 그리고 데이터 호수에서 그게 – 그건 여기의 특징 우리는이 모델을 가지고 있지 않습니다

우리는 관계에 의존 할 수 있습니다 테이블에서 테이블까지 사실 표 우리가 할 수있는 일은 우리가 할 수있는 일입니다 이 테이블을 생성하고 생성하십시오 IT 스파크 매일 밤 스파크 쿼리 실행 이 집계를 생성하는 테이블 및 테이블로 존재 스파크와이 표가 나옵니다

TRILLION 줄에서 내려 – 이 특정 1 대 168 수만원의 크기 수백만에 달했을 때, 너 평소에 얘기하고있어 기가 바이트 또는 그 이상의 수 메모리와 10 기가 바이트 힘 BI 프리미엄과 우리는 계획한다 그걸 살면서 여전히 1

68 억 원 하지만 그게 사실 이니깐 TRILLION, RIGHT와 비교되었습니다 우리는 그렇게 작은 것을 어떻게 얻습니까? 우린 너무 작아 높은 바의 농도를 제거하십시오 열

그냥 경리와 길 찾기 다른 칼럼은 날짜입니다 우리는 약간의 드라이버를 가지고있다 소수의 소수 민족 교단 하지만 그 외 모든 것 ELSE는 카테고리를 따릅니다

카테고리 또는 억 양동이 – 직업의 마일 범위 다양한 가치의 숫자 열 상대적으로 매우 낮음 열은 A에서 내려옵니다 1 천 6 백억에 백분율 경비와 길거리

우리는 그걸 제거하고 있습니다 크기를 줄이고 줄이기 엄청나게 중요합니다 그 다음에는 QUERY THAT THAT 이 치수에 따른 그룹화 속성은 캐시를 공격합니다 로지 또는 길 찾기를하지 마십시오 내가보기에 내려 가면 개별 이동 포크 리프트 GALE JOHNSON이 그랬을거야

직접 질의를 실행하려면 불꽃 여기에 매핑을 설정하려면, 그것은 절대적으로 어땠습니까? 우리가 – 죄송합니다, 절대적으로 선택적인 곳으로 치수를 입기 전에 미국은 선택의 여지가있다 그룹 구매 우리는 아직 설정하지 않았고 GETTING AG HITS

여기에 절대적으로 필수적입니다 이걸 반복해라 속성 그룹의 매수마다 하나의 싱크 세부적인 테이블 생산성 그리고 세부 사항 열은 연관된 열 여기 아래쪽에 – THE가 있습니다

운동 우리는 합계와 위치를 얻었다 현재 테이블은 COUNT입니다 그게 트리튬 – TRILLION ROWS NUMBER 그래서 기본적으로

알다시피, 두 가지 옵션이 있습니다 이리 너는 의지 할 수있어 관계 또는 경찰 경찰관 케이 외형 치수 치수 표 하나는 그들에 더 가깝다

모델 너는 이것들을 혼합 할 수있다 원하는 경우 기술 대집 테이블이있는 경우 한 달에 당신이 원하는 레벨 그 달에 맞 춥니 다 귀하의 비공식적 인 속성 데이터웨어 하우스의 테이블

당신이 의지 할 수밖에 없었다면 그 관계를 평등하게 두 개의 분리 된 표를 하나씩 나오십시오 에서 AG에 들어가는 분량 표 내가 준비 할거라고 말 할거야 월, 분기 및 연도 집계 테이블과 SET 그 위에 매핑하여 그룹을 UP 다른 사람들을위한 그룹 설정 치수 표와 IT 계속 작동합니다 혼합 및 일치

치수 표 정상화하고 싶지 않아요 에이 작은 BIT도 알 수있다 풍경이있는 너는 선택권이있다 어떻게 할 수 있는지 융통성있게하십시오

말이 돼? 괜찮아 알았어 그래서 우리는 정말 좋아 시각 >> SPILL이 (가)에서 벗어났습니다 집계 및 이동 우리가 가지고있는 다른 큰 특징들 구체적으로 전원 공급 장치를 사용합니다

주변 서비스 둘러보기 특징 POWER BI 번쩍 번쩍 번쩍 번쩍하는 질문들 총회는 내가 한 두 가지를 할 것이다 또는 점프 스트레이트 에서 N예요 확실한? 힘 BI 시험 APP에? 전원 BI 덱 스톱 고맙습니다

질문은 얼마나 되었습니까? 기억은 힘 BI 안에 필요합니까? 큰 회사와 거래 할 수있는 데스크탑 볼륨? 좋은 질문 나는 그 곳에서 뛰고 있었다 15 및 20 기가 바이트 사이 너무 낫다 게시 서비스

이건 NOT에서 변할거야 너무 먼 미래 정상적으로는 다른 방법이 될 것입니다 약 증가 기능을 사용하십시오

소비를 줄이십시오 장소 상에서 1 년에서 10 년이 될 수 있을까요? 백만 줄 데이터 세트 및 증대 할 때, 언제 다시 시작해야합니까? DECKSTOP LOAD ONE에서 다시 채우기 데이터의 10 일 좋고 작은 나는 그 서비스에 간행했다 참신한 정책을 요구하고 데이터를 모두 10 년 동안로드합니다

GO, UP, SA, 50 GIGABYTES 또는 어떤 것 이것은 정상적으로 작동하는 방식입니다 그리고 새로 고침과 세트 모든 것을 다하십시오 – 모델링을하십시오 소량의 SET-UPS 및 메타 데이터 일부분 그리고 만약 당신이 그것을 새로 고침 한 서비스 및 호출 정말로 커집니다 IT는 한 지점으로 성장합니다

책상 위에 크게 열어 놓으십시오 우리가 가고있는 곳이야 이 괜찮아 나는 하나 더 질문을받을 것이다

그리고 계속 움직여 라 너는 줄을 사용할 수있을거야 수준 보안 OBJECT LEVEL SECURITY는 회합에 함축 된 의미 표

그래서, 한줄의 로우 레벨 보안 일하면 우리는 이걸 가질거야 기능은 일반적으로 사용할 수 있습니다 당신이 그렇지 않다면 그 지점에서 관리자 및 그것을 통한 액세스 역할 역할 수준 보안 또는 객체 레벨 보안 또는 그렇지 않을 것입니다 규정을 준수하십시오 – THE 집계표

너는 줄을 사용할 수있을거야 보안 너는 로우 레벨을 가질거야 경고 할 보안 필터 통일 테이블 아래로 그리고 사실 테이블, 그리고 거기 그게 당신 일이 될거에요 알고 있어야합니다

유일한 것으로 홍보 할 수있는 것 하나의 테이블과 다른 테이블 최신 세션 커버 한 번은 기능을 사용할 수 있습니다 짧은 대답은 예, 당신입니다 전체 통제 이 테이블에 접근하십시오 괜찮아 그래서 나는 지금 움직일거야

그래서 종말 산업 표준 프로토콜 FOR – 그냥 채택하지 마라 MICROSOFT MICROSOFT는 IT를 시작했지만 다른 것은 시작했습니다 판매자는 그것을 잘 사용합니다

고객을위한 프로토콜 PRIMARYTOOLS로 일차적으로 도구 – PRIMARILY 클라이언트 도구로 작업 할 수 있도록 – 비즈니스 인텔리전스 데이터베이스 권리 그리고 우리가 AXMLA END POINT 일 때 우리가 이야기하는 것 – BY 권리 XLM 종점을 말할 때

우리가 무엇에 관해 말하고 있는지 도구 묶음 POWER BI SCREPTOP 또는 EXCEL이 될 수 있습니다 우리 모두의 경쟁자 제품 및 제 3 자 BI 도구 – 필요 없어 그 (것)들의 무엇이든, 그러나 정당하다 평생 다른 모든 것을 말하십시오 주요 BI 공급 업체 프로모션 연결되어 있기 때문에 연결성 20 년 동안의 시장 선두 주자 이 도구들 모두를 사용하십시오

라 엔드 포인트와 프로토콜 분석 서비스에서 데이터를 얻으십시오 SQL과 같은 관리 도구 서비스 관리 및 프로 필러 및 SQL Server 데이터 도구 SQL 데이터 도구는 모델입니다 제공 – 모델링 도구 AZURE 서비스 이 모든 것은 XMLA 끝점을 사용합니다

POWER BI가 실행중인 서비스 배경 그래서 미국은 엄청난 스트레스가 아닙니다 이 XMLA ENT POINT를 열려면 모든 것을 의미하는 힘 BI 이러한 도구는 자동으로 실행됩니다 전원 BI 및 서비스 우리는 분석 기능 힘 BI 프리미엄 안에

지금 기술 프리미엄 원인 그리고의 광대 한 주요 분석 기능 OPEN PLATFORM 어디 있니? 재사용 할 수없는 그는 남자 틱하고 다른학과를 통해 다른 도구를 사용하고, 경영 성 APIs, ET CETERA 이것은 귀하의 약관에 큰 영향을 미칩니다 알고 계시고, 분석을하시오

서비스 기능 BI 단지 아닙니다 개방형 플랫폼 연결성, 그러나 내가 말했듯이 아피스 실험실 모형이 소개되었습니다 SQL 서비스 2016 분할을 위해 사용 된 INCREMENTAL을위한 관리 분석 서비스를 새로 고칩니다

그러나 IT가 – 그것을 사용할 수 있습니다 커뮤니티 도구 알다시피, DAX STUDIO 착용하고있다 티셔츠 이 커뮤니티 도구들 모두 힘 BI와 함께 일하게 될 것입니다 그리고 – 부유 한 역사가 있습니다

커뮤니티 도구 및 일부 저기서 정말 좋네 그리고 우리는 모든 성찬을 얻습니다 그래서 우리는 테이블 스크립팅을받습니다 출신 언어 SQL 서비스 관리 스튜디오 행정부에 잘 어울린다 펑키 지루한 기능

그리고 AZURE 서비스가 입지 않음 20 SQL 분석으로부터의 힘 서비스 그래서 모든 것이 가능해질 것입니다 너무나 먼 미래에 XLMA 끝까지 전철기 O 민주당 원 – THE XLMA 종점 용 데모 인상적입니다

나는 요약을 요약하고 싶다 새롭게 하다 하루 만에 코드를 실행해야합니다 칸막이를 관리하십시오

증대 된 거래 신선한, 10 억의 행 TEN-YEAR DATASET 새로워보십시오 너는 다시 타고 싶지 않다 매일 10 억 달러 씩 새로워 야해 증가를 설정하려면 새로 고침하십시오

지난 5 일 동안 만로드 당신을 위해 다룰 데이터 데이터 변경, 예를 들어 그래서 분석 서비스에서 BI 전문가에게 쓰기 수천 줄의 수천 이거 관리해 권리 거기에는 중요한 사람이 있습니다 관리,하지만 키 중 하나 서비스의 강점과 사용 그럴 수있는 표적 개체 모델

전원 BI에서, 우리는 이미있다 인상적입니다 YEAR, POWER BI, IT에서 이 단순한 대화 상자로 간주 됨 INCREMENTAL을 지정하는 곳 오래된 정책은 없습니다 너에게 보여줄 시간을주게 지금 책상에 설치하려면 다음과 같이하십시오 너는이 링크에 갈 수있어

그것을 설정하는 방법의 데모 이 대화는 기본적으로 위로 말합니다 이 값을 정의하고 정의 새로워진 정책, 모든 권리 그래서 지금은 말하고 있습니다 당신은 새로 고침을 우리가 초기에 토의 한 서비스 아무 데나 탁상에

데스크탑은 십분 만에 하나가 될 것입니다 데이터 및이 정책을 정의하고 게시 및 새로 고침, 처음으로 새로 고침받을 것입니다 LANGUOR는 10 대를로드 할 것입니다 1 년 및 후속 재실행 지난 5 일을 불러올 것입니다 보기를 위해

마지막 끝의 태블릿 코드에서 RTI 몇 년 만이기 서비스 그것의 추출과 만들기 추출 및 너는 그것의 정밀한 통제가 없다 AG 서비스에 가입하십시오 당신은 대단한 권리를 가질 수 있습니다

쓰기 부분 XLMA ENDPOINTS, 너는있을거야 같은 컨트롤을 입력하십시오 POWER BI 괜찮아

그래서 나는 넘어서 넘어 질거야 SQL 서비스 관리 스튜디오 나는 여기있다 힘을 합쳤다 BI 작업 공간

권리 이것은 SQL 서비스가 아니라 NOT AZURE 서비스 나는 힘 BI에 연결되어있다 작업 공간 및 전체 목록 작업 공간에서의 데이터 세트 그들은 AZURE SERVICES를 보았습니다 모델

기술적으로 그들은 아주 좋다 서비스 모델 서비스는 소프트웨어입니다 분석의 맨 위에있는 계층 서비스 그리고 이것은 거친 스트레스가 아닙니다

거룩한 위엄을 누릴 수 있습니다 BI에 힘을 실어주는 기능 여기있다 – 여기있다 여기에 같은 데이터베이스가 있습니다 작동 공간

괜찮아 그래서 내가 지금 무엇을 할거야? 파티션을 확인하십시오 나는 실제로이 열림을 얻었다 이미 그래서 나는 이 여행 표에 대한 구분

현재 내가 정의한 것은 인상적으로 새로 워진 정책 그 대화와 BI 서버를 서비스에 사용하십시오 그것은 실행되지 않았다 아직 새로 고침 전력 BI 클라이언트는 처리 할 수 ​​없습니다 여러 개의 파티션이있는 경우 하나의 칸막이가있을 수 있습니다

1 년 또는 10 일 안에 그것을 맞추기 책상과 모델의 메타 데이터 나는이 글을 모델, 다른 어떤 것과 마찬가지로 스크립트 데이터베이스와 여기는 그 모델의 전체 메타 데이터 나는 결코 힘을 얻지 못했다 BI와 DID 및 SCRIIPTING 목적 그리고 내가 여기있다 증가하는 상쾌한 정책 나는 그 대화에서 정의했다

괜찮아 그러나 나는 그것을 가지고있다 왜 새로 워진 지 요청했습니다 오직 하나의 칸막이가 있습니다 앞뒤로 가면서 새로 고침하기 힘 BI를 통해 서비스, ​​우리는 SQL에서 그것을 할 것입니다

서버 관리 스튜디오 및 – 분명히 시간 초과를 알립니다 이 프로그램이 실행되는 동안, 이 중 하나를 어떻게 만들어야합니까? 명령 그래서 우리는 공정 테이블을 말할 수 있습니다 나는 완전하고 말하기를 원할 것이다 스크립트

그리고 나도 그럴거야 명령 이 두 가지가 없습니다 매개 변수는 무엇이 아니기 때문에 그들에 대해 알고 계십시오 같은 명령

이 말은 새로 고침 정책 및 다른 사람 효과적인 날짜를 무시하십시오 오늘은 할 수없는 또 다른 일 증가하는 글씨가 새겨 져 있음 POWER BI 그리고 2012 년에이 결말 현재 날짜 이 롤링 관리 창문, 오른쪽 너는 그걸 무시할 수 없어

날짜는 있지만 XLMA 끝점 및 스크립트 언어, 당신이 될 것입니다 그게 끝났 으면 새로 고칠 수 있어요 분할과 생성 예산 부 그것은 각각을위한 분할을가집니다 5 년

너가 정책을 전부 생각하면 내 전체 데이터를 원한다고 여기에 SET 또는 ROLLING WINDOW는 5이다 연령 2019 년 새해를 맞이했을 때 IT는 2011 년을 모두 버리고 모두를 수행합니다 이것은 미국과 그 이후에 – 우리가 가까이에 – 현재 날짜, 낮추기 분계선의 자갈 우리가 얻을 때까지 올라간다 우리가 말한 8 월 13 일 현재 날짜입니다

권리 그리고해야 할 이유 이것은 그것이 유지할 수 있다는 것입니다 계약 만 갱신합니다 마지막 – 나는 그것이 마지막이었다고 생각한다 일순

계약, IT 유지 파티를 가질 필요가있다 낮 시간을 낮추십시오 그리고 우리가 앞으로 나아갈 때, 나는 앞으로 전진 할 것입니다 오늘 우리가 전진하는 동안, IT 새로운 하루와 의지를 낳을 것입니다 기회를 제공하는 기회 동원 T 그가 하루 개월 수 및 월간 4 분기 및 분기 더 큰 압축을 얻고 클리너 사용법

한 번 우리가 이루어질 것입니다 이 새로 고침과 8 월 14 일보기 이거 줘 둘째 그리고 지금은 14 일입니다

너는 내가 여기를 클릭하면 새로 고침 시간 에 대한 그만큼 마지막 10 개 파티션 또는 그보다 더 이전 ONES 전체 데이터를 새로 고치지 않았습니다 세트 가장 최근의 10 일만 정책에 따라, 모든 권리 당신은 훌륭한 곡물 관리를 제공합니다

아주 많이 고마워요 아주 많이 고마워요 이것은 정말 열립니다 필요한 곡물 제어 이 엔터 프라이즈 스케일 관리 모델, 그리고 그것은 – 당신이 알고, 이 미세 곡식을 그대로 사용하십시오 제어

그리고 너 – 그리고 너 또 다른 너야 현재는 할 수 없다 증대 된 새로 워진 것과 함께하십시오 역사 파티션을 새로 고칩니다 너, 너는 모두해야 해

의회 하지만 지금은 2012 년 중 일부를 말합니다 예를 들어, 재실행되었습니다 그들은 회사의 명맥을 가졌습니다 그리고 우리는 계정 필요 – 난 알고 있지 마라

역사적 분할의 상쾌함 십일월보다 더 오래되었습니다 증가하는 범위와 새로 워진 IT 어서 가서 새로워라 전용 20 12 분명히 나는 ​​그것을 완전하게 설정할 것이다 그러나 시간의 관심사에서, 나는 IT를 신속하게 유지하고 싶습니다

그 멋진 곡식 컨트롤 역사적인 구획 증가하는 REFRESH 및 XLMA 끝점 이것은 무엇의 요점입니까? BI를 얻으려고 그것은 시장을 지배 해왔다 대부분의 경우, 수년 동안 PRIMARYFOR MA 뉴욕, 몇 년 전 그것이 잘 작동하기 때문에 이 IT 소유 기업 모델

우리는 있습니다 브라이언 엔터 프라이즈 BI를 POWER BI 그리고 그것을 모두 할 수있는 한 곳 정밀도를 한 곳에서 만끽하십시오 예술품 너는 갭을 연결할 필요가 없다

두 제품 사이 마지막으로 내가 너에게 보여줄거야 정말로 빨리, 나는 아직도 가지고있다 4 분 너무 빨리 당신을 보여줍니다

HOPEFULLY 분의 커플 마지막 질문은 행동과 수명주기 주기 조치 SO – 분석 서비스, SQL에서 모델을 제공하십시오 서비스 데이터 도구 시각적 스튜디오에서 뛰기 혼자만은 당신을 의미합니다 근원과의 통합 컨트롤, 뒤로 롤백 할 수 있습니다

이전 버전 및 가능 그 런 런 오토 빌딩 최신 버전을 얻으려고 모델 메타 데이터의 복장 컨트롤에서 기단 및 자동화 된 건물 포함되는 것들 같은 서비스 새로운 배치를위한 배치 DATASETS XMA의 이온 종말 제한의 커플, 함께 프로그램 성 첫 번째 제한 인스턴스 및 첫 번째 릴리스입니다 요일 및 요일에 나타나는 롤 그 힘 BI의 데이터 세트 롤 업데이트 필요 – 및 자료 출처 죄송합니다, 롤 및 데이터 출처

ROLLS 및 DATA SOURCES 너는 단지 만들거나 갱신 할 수 없다 아주 첫번째 클릭에있는 것들 PUBLIC PREVIEW에 포함됩니다 너는 롤을 만들 수있을거야 및 자료 출처

다른 방법으로는 작동하지 않을 것입니다 첫 번째 릴리스는 단일 서비스 데이터 도구 우리는 단일 서버를 만들 계획을 세웠습니다 힘 BI로 작동하는 데이터 도구 프리미엄과 퍼스트 전통적 응용 평생 잊지 못할 라이프 스타일 워크 플로우 설명 됨 추가적으로, 우리는 변경 사항을보다 쉽게 ​​배포하십시오

환경을 가로 질러 너의 변화의 찬스가 있다면 개발 환경과 능력 개발자가 필요로하는 팀 생산에 버그 수정 정말 빨리 확실하게 할 수있는 많은 돈벌이 귀하의 개발 환경은 비웃는 소리까지 기민한 당신은 측정을 짤 수 없다

네가 필요로하는 정의 이를 통해 당신이 할 수있는 접근법이 있습니다 갖다 지점 관리 및 지점 병합 도구를 평준화하라

지점 조사를 위해 우리는 그것을 더 쉽게 만들고 싶습니다 묶음 병합이 없을 수도 있습니다 조직 역량 우리는 당신에게 선물을주고 싶습니다 – SCHEMESCHEMA DIF TYPE FUNCTIONALIT 와이 모델을 홍보하고 개발 시험 및 생산 POWER BI의 작업 공간

우리는 이것을 확장하고 싶다 모든 힘 BI, 그러나 첫째로 버전은 데이터 세트 용입니다 그래서 우리는 목적지를 가질 것입니다 서비스 대상 작업 강제력 및 데이터 세트, 스켐 차이와 당신이 선택할 수 있습니다 그리고 선택하십시오 배포 할 개별 항목 환경을 넘어서거나 아닙니다 괜찮아

이 경우 숨김 – 건너 뛰기 사물 여기에는 100 개의 테이블이 있습니다 다각에 초점 두 가지 버전 사이에서 데이터 세트 및 피킹 및 선택 건너 뛰기에 대한 개별 항목 볼 수 있습니다 실제로 여기 이 테이블 분파의 무리가있다 그래서 목표는 증가 할 수있다 새로 워진 세대와 내가 원하는 것이있다

새로운 측정법을 배치하십시오 나는 모든 나의 것을 다시 듣고 싶지 않다 데이터 이 테이블을 만지지 마십시오 혼자 떠나십시오

이 부분을 만지지 마십시오 나는 무엇을 선택하고 선택할 수 있는가? 이 제품을 배치하고 수행하고 싶습니다 확인 그리고 이것은 할 것이다 종속성 분석 대상을 비교하십시오 데이터베이스는이 두 가지를 삭제합니다 M 개의 매개 변수 때문에 그 테이블 예를 들어, 그들에 대한 교섭

TELE MODEL SCRIPT SCRIPT 그리고 앞서 가서 목표 및 옵션에 기반 가공, 동부 표준시 수행 할 수 있습니다 CETERA와 나는 상쾌하게 할 수있다 비교하고, 나는 단지 밀어 넣었습니다 안전에 대한 목표를 통해 다음 환경으로 가십시오 괜찮아 SO 신속한 신청 라이프 스타일 조치

다른 오픈 소스 도구 그래 계속 해봐 현재 발표문에는 없습니다 현재 발표문에는 없습니다 네

그래서 이것은 제공한다 너는 너에게 너를 준다 지점의 병합 이 서비스는이 서비스를 제공합니다 너는 그것들이있는 지사의 합병 네가 가지고있는 유일한 선택 세 가지를 보여주지 않습니다

머지 TIM 그리고 나는 더 많이 가질 것이다 질문이 없습니까? 알았어 그래서 나는 그 시간을 가지지 않았다 너 진짜 빨리 보여줄거야

W 죽을 – 다이어그램 스누즈와 함께 테이블과 별거되는 표제에 테이블 지역 및 설정할 수 있습니다 – 내가 했어 내가 할 수있는 것을 보여라 다중 객체 및 세트 저장과 같은 일반적인 속성 방법 기업용 기능 대형 복합 모델 아주 많이 고마워요

[적용] 평가를 기입하십시오 여기 일부 세션 자료가 있습니다 당신이 채우면 나는 그것을 찬성한다

Why Use R? – R Tidyverse Reporting and Analytics for Excel Users

R을 사용하는 이유는 무엇입니까? 첫 번째 R은 Excel에서 보통 1 시간 이상 소요되는 매우 빠른 스프레드 시트입니다 vlookups 및 sum ifs와 같은 항목으로 인해 R에서 초 미만으로 계산할 수 있습니다

속도와 관련이 있습니다 수용력입니다 Excel이 실제로 수천 개의 레코드 만 처리 할 수있는 곳에서는 R이 수백만 개를 처리 할 수 ​​있습니다 지금 기술적으로 Excel은 백만 행의 데이터를 처리 할 수 ​​있지만 계산 된 열을 데이터 세트에 추가하려고 시도한 적이 있다면 매우 빨리 알 수 있습니다 그건 사실이 아니야

이제 이것을 이해하십시오 데이터에 vlookup을 추가한다고 가정 해 보겠습니다 그리고 그것은 백만 행을 가졌습니다 수식을 한번 입력하면 100 만회 아래로 복사됩니다 이는 계산이 1 백만 번을 계산해야 함을 의미합니다

그런 다음 5 개의 열을 조회하면 5 백만 회의 계산이됩니다 당신이 공상에 빠지면 자동으로 일치 수식을 사용하여 열 이름을 찾습니다 실수로 매번 실행해야하는 계산을 1 천만 회로 두 배로 늘린 것입니다 스프레드 시트에서 사람들이 자주 복사 한 특수 값을 복사하는 이유를 만지십시오 R

이 모든 것은 하나의 계산입니다 위험을 줄이면 작업 내용을 동일하게 복제하고 자동화 할 수 있습니다 시각 이제 Excel에서 복사 및 붙여 넣기와 같은 것들을 포함하는 일련의 프로세스 노트가있는 경우 여기서 데이터 세트는이 수식을 삽입하는 새로운 열을 추가합니다 수식을 채우십시오

특별 값을 붙여 넣기 한 다음 수식 범위를 업데이트하여 모든 작업을 다시 수행하십시오 수동 프로세스를 도입하고 작업에 위험을 초래합니다 이제 약간의 VBA를 알고 있다면 잘 생각해 볼 수 있습니다 대신 실제로 이러한 프로세스를 자동화하고 있습니다 일반적으로 이러한 프로세스를 자동화하는 VBA 코드는 R에 비해 약 10 배 더 길습니다

이제 이것을 이해하십시오 R은 데이터와 직접 작동하도록 설계되었습니다 따라서 기본적으로 코드를 지정하는 한 줄의 코드 주위에 계산 된 열을 추가해야하는 경우 VBA에서 비즈니스 로직의 수식을 사용하면 수동으로 수행 할 모든 단계를 효과적으로 코딩 할 수 있습니다 Excel에서 완료 이것이 VBA가 쓰기 시간이 오래 걸리고 실행하는 데 더 오래 걸리는 이유입니다

항상 원래 데이터 세트로 돌아갈 수 있기 때문에 R에서는 위험 요소가 줄어 듭니다 모든 단계 당신이 가지고있는 프로세스는 스크립트의 일부입니다 즉, 로직을 변경하거나 업데이트하고 변경해야 할 경우 신속하게 만들 수 있습니다 몇 초 안에 원본 데이터에서 전체 스크립트를 변경하고 실행할 수 있습니다 시각화 및 대시 보드 R의 시각화는 탁월한 것보다 Tableau와 같은 제품에 훨씬 가깝습니다

Tableau와 같은 것 대신 R에서 시각화를 생성하는 또 다른 이점은 라이센스입니다 소송 비용 만약 당신이 그 일을 누군가에게 보내고 싶다면 당신은 Tableau에서 일하는 모든 공상을해야합니다 pdf 또는 이미지 파일과 같은 정적 형식으로 내 보냅니다 모든 대화 형 작업으로 작업을 보내려면 사용자가 Tableau를 가져야합니다

자신의 컴퓨터에 설치되어 있거나 시작할 수있는 Tableau 서버에서 라이센스를 구입해야합니다 정말 비싸고 당신의 일을 배포하는 것을 정말로 어렵게 만듭니다 당신이 원하면 R로 대화 형 시각화를 보내면 누군가의 것으로 열 수있는 HTML 파일로 보낼 수 있습니다 웹 브라우저 이렇게하면 보려는 의도대로 작업을 훨씬 쉽게 배포 할 수 있습니다 대시 보드의 경우 Excel에서 대시 보드를 동적으로 만드는 일반적인 방법은 슬라이서를 사용하는 것입니다

이제 다른 것들을 구현하기를 원한다면, 일반적으로 VBA를 사용하여 시작할 필요가 있습니다 조금 복잡해지며 호환성이 떨어집니다 이제 슬라이서의 문제점은 필터가 실제로 필터를 커버한다는 것입니다 그룹화 및 요약 및 계산을 즉각적으로 사용자 정의 할 수 있습니다 일반적으로 의미하는 것은 대부분의 Excel 대시 보드를 보면 일반적으로 매우 높은 수준이므로 필터를 적용 할 때도 충분히 포괄적입니다

대시 보드를 그룹 관리 팀에 제출할 때도 괜찮지 만 원하는 경우 대시 보드를 나머지 비즈니스에 배포하기 시작합니다 일반적으로 충분한 세분성이 없습니다 실제로 누구에게나 유용합니다 R에서는 가능한 한 그룹화 요약 및 계산을 쉽게 매개 변수화할 수 있습니다 저 필터들

협동 일반적으로 조직 전체에서 전자 메일로 보내진 Excel 파일을 찾을 수 있습니다 사람들은 변경 사항을 추가 할 것입니다 수식을 추가하면 여기저기서 물건을 바꿀 수 있습니다 발생 된 모든 변화를 재조정하고 조율하기가 어렵습니다

이것은 이론상 최악의 시나리오입니다 Excel에서 변경 사항을 추적하는 것이 더 좋습니다 SharePoint 사이트에서 작업을 공유하십시오 그러나 실제로 추적 된 변경 내용을 적용하고 SharePoint 사이트에 작업 내용을 저장하면 많은 작업을 수행 할 수 없게됩니다 Excel의 기능

또한 SharePoint 사이트에 파일을 올린 경우 실수로 사람들이 변경된 경험이있을 수 있습니다 파일을 가지고 있거나 파일에 들어가서 다른 사람을 잠그지 않아야하는 파일 R을 사용하면 R studio connect와 같은 서버에 작업을 게시 할 수 있습니다 사람들은 자신의 웹 브라우저를 통해 파일을 볼 수 있습니다 파일과 당신은 우연히 그것을 변경해서는 안되는 사람들에 대해 걱정할 필요가 없습니다

분석 팀은 GitHub와 같은 도구에서 변경 사항을 공유하고 추적 할 수 있습니다 GitHub는 파일간에 일어나는 모든 변경 사항을 추적합니다 이제 이와 같은 차이점이 Excel의 변경 사항을 추적했습니다 그것은 R 파일이 비즈니스 로직이있는 스크립트이기 때문입니다 변경 사항이있을 때 비즈니스 로직이 변경된 것을 볼 수 있습니다

이 강의는 Excel 사용자를위한 강의 및 분석 보고서였습니다 이 코스의 나머지 무료 강의는 내 채널을 구독하거나 아래 링크를 클릭하십시오 26 개가 넘는 강의가 포함 된 전체 과정의 재생 목록에 액세스합니다 다운로드 가능한 소스 코드 및 QA 아래 링크를 클릭하여 살펴보십시오 코스 내용에서 특별 할인 가격에 액세스하십시오

200 파운드의 풀 코스 가격에서 생산 된 단 10 파운드

Apache Spark Tutorial | Spark Tutorial for Beginners | Apache Spark Training | Edureka

여러분 모두에게 매우 환영합니다 Edureka의이 Spark Tutorial에 대해서

시작하기 전에 모든 사람으로부터 빠른 확인을받을 수 있습니까? 너의 오른편에 내가 크고 분명하면 너는 채팅 옵션을 찾거나 뒤로 밀면됩니다 당신은 그 중 하나의 옵션을 입력 할 수 있습니다 아주 좋아, 감사 Saurabh 그래서 당신이해야 할 일은 당신이 알아낼 수있는 것입니다 질문을하고 방금 게시했습니다

여기에 대한 응답이므로 언제든지 저를 방해하십시오 가운데 언제든지 언제든지 나는 괜찮을거야 너는 거기에서 중간에 나를 방해 할 수있어 우리는 당신의 질문을 받아 들일 수 있습니다 이 웹 세미나에서 기대할 수있는 모든 것 왜 아파치 스파크인가, 왜 아파치 스파크인가? 왜 우리는이 새로운 기술을 배우고 있습니까? 오늘날의 세계에서 이 아파치 스파크에 대해 많이 들으셔야합니다

거기 아파치 스파크는 세계에서 다음 큰 것입니다, 왜 사람들은 아파치 스파크에 대해 이야기하고 있습니까? 다음 큰 것, 기능은 무엇입니까? 아파치 스파크에서 우리가 그런 말을하고있는 것 때문에? 그 아파치 스파크는 다시 다음 큰 일입니다 Apache Spark와 관련된 사용 사례는 무엇입니까? Apache Spark 생태계는 어떻게 생겼습니까? 우리는 또한 실습 예제를 할 것입니다 세션 중과 끝에서 나는 너를 프로젝트를 통해 걸을 것이다 아파치 스파크 (Apache Spark) 그래서, 그것은 당신이이 세션에서 기대할 수있는 것입니다 더 나아가, 이제 우리가 이야기하기도 전에 먼저 아파치 스파크 (Apache Spark)에 관해서는 매우 중요합니다

빅 데이터를 이해하기 위해서는 또는 우리가 옳게 선택할 것 Apache Spark 빅 데이터에 사용됩니까? 이제 빅 데이터라는 핵심 단어는 무엇입니까? 그것이 우리가 논의 할 첫 번째 것입니다 Big Data 란 무엇입니까? Big Data는 무엇을 알고 있습니까? 귀하의 답변은 무엇입니까, 몇 가지 대답을 얻을 수 있습니까? 오른쪽에 질문 패널이 보입니다 너는 거기서 대답 할 수있어 진지하게 만들어라 이 작은 대화식, 정말 도움이 될 것입니다

이 주제를 잘 이해하고, 나는이 수업이 끝날 때까지 너에게 보증 해 줄 것이다 당신은 무엇에 관한 좋은 지식을 가지고 모두 갈 것입니다 아파치 스파크,하지만 나 좀 도와 줘야 해 대화식으로 만들 수 있습니다 너는 나에게 말할 수있다

너는 무엇을 이해 하느냐? 빅 데이터 키워드 별? 아주 좋아요, 진실입니다 매분마다 생성되는 거대한 가벼운 데이터 다양한 자원에서 인터넷에, 아주 좋은 대답 그래서 우리는 대량의 데이터가 생성되었다고 말하고 있습니다 회사 네트워크에서 켜고있어 알았어

텍스트, 이미지, 비디오, 스트림, 아주 좋을 수 있습니다 일종의 성명서 만 보아라 많은 양의 데이터가 Big Data라고 부르지 만 실제로는 이 경우 빅 데이터가 아닌 대량의 데이터를 호출 할 수 있습니까? 아니요, 소책자는 데이터의 속성 중 하나 일뿐입니다 필요한 빅 데이터가 무엇인지 계속 정의해야하는 경우 더 넓은 의미에서 정의하기 위해, 나는 말할 필요가있다 볼륨이지만 다양한 자원에서 데이터가 어떻게 생성되는지, 페이스 북은 많은 데이터 또는 뉴스를 사용하고 있으며, 의료 도메인이 모든 도메인은 빅 데이터를 생성하고 있습니다

이제 다양한 종류의 자원에 대해 말하면 그것은 우리가 또한 말하고있는 그것을 생성하고있다 이 인쇄물에 대해서 어디서 읽었습니까? 그리고 결국에는 벡터 속도에 대해서도 이야기 할 것입니다 이 데이터는 페이스 북에 대해, 단지 10 살짜리 회사를 보아라 그들은 단지 10 년이라는 아주 오래되지 않은 회사 다 또는 12 세의 회사

이제 10 년에서 12 년 사이에 페이스 북이 성장했습니다 그 데이터는 기하 급수적으로, 그들은 엄청난 양의 데이터 몇 달 전 Mark에게서 트윗을 들었습니다 페이스 북의 CEO 인 그는 페이스 북 페이스 북 타임 라인에서 그는 스폰지 백이라고 언급했다 그리고 페이스 북에는 오늘 숫자가 있다고 언급했다

생활 인구의 수와 동등한 이 그룹이 100 년 전에 그것은 큰 진술입니다, 아니 새미, 우리는 내가 제공 할 구조화되지 않은 데이터도 처리 할 수 ​​있습니다 그 시점까지 그들은 큰 일을 이야기하고 있습니다 이제 Facebook에 대한 도전입니다 얼마나 많은 양의 데이터에 대해 이야기하고 있는지 상상할 수 있습니다

이제는 사용자의 수와 관련하여 들립니다 그러한 사용 데이터, 이제 활동은 무엇인가? Facebook에서 무엇을 하시나요? 너는 짹짹 오른쪽, 어쩌면 당신은 메시지를 입력 할 수 있습니다 또한 사진을 업로드하거나, 비디오를 업로드하거나, 당신은 오디오를 바로 업로드 할 수 있습니다 이제 그들은 일종의 포맷 된 데이터입니까? 우리가 다른 아이디어를 내 누이, 대답은 옳지 않습니다 틀림없이 그들은 친절하지 않습니다

그들은 매우 좋은 형식의 데이터를 그들이 데이터와 카테고리의 다른 카테고리 이를 비 구조적 데이터라고합니다 이제는 DBMS 시스템으로 처리 할 수 ​​있습니다 그 종류의 데이터, 대답은 아니오입니다 우리의 DBMS는 모든 구조를 다룰 수 있습니다 일종의 패턴을 가진 데이터를 사용할 수 있습니다

이제 우리가 하둡에 대해서 이야기 할 때 우리는 또한 이야기합니다 오디오에 대해, 우리가 다른 말로 우리가 부르는 비디오 그것은 비 구조화 된 데이터입니다 그래서 그것은 다양한 형식의 데이터이기도합니다 우리가 데이터를 다루는 것, 그래서 우리는 단지 말할 수 없습니다 이 데이터를 보면 거대한 데이터입니다

빅 데이터 아니오, 그것은 단지 하나의 속성입니다 왜냐하면 내가 구조화되지 않은 데이터를 가지고 있다면, 본질적으로 작지만 여전히 보유하고있는 경우에도 여전히이 Hadoop의 뿌리 인 Big Data 도구를 사용합니다 그들을 해결하기 위해, 그래서 그 경우에도 사용 DBMS가 효율적이지 않기 때문에 데이터 도구 그 모든 종류의 문제를 해결하기 위해서, 그것은 하나의 문제입니다 이제 얻은 데이터는 무엇이든 얻을 수 있습니다 어떤 종류의 문제, 누락 된 데이터가있을 수 있습니다

손상된 데이터가있을 수 있습니다 Veracity라는 데이터가 또한 Big Data의 한 속성입니다 따라서 빅 데이터는 볼륨이 아니라는 것을 알 수 있습니다 그러나 여러 요소로 구성됩니다 다양한 속도, 다양성, 진실성

이 모든 것이 빅 데이터의 중요한 구성 요소입니다 12 년 만에 페이스 북에 말했다 우리가 측면에서 볼 때 데이터를 너무 많이 성장시킬 수 있습니다 큰 데이터처럼 들리는 사용자 수 자체의 사용자가 활동을 수행 한 후 자신의 플랫폼에서 얼마나 많은 데이터를 상상해 페이스 북 페이스 북뿐만 아니라 유사하게 취급 할 수도있다 우리가 Instagram에 대해서 이야기를하더라도, 매분 게시물의 상당 부분이 좋아지고 있습니다

거의 70 명이 좋아, 36,000,111 나는 매 순간 얘기하고 있는데, 나는 심지어 말하고 있지 않다 하루 기준으로, YouTube 1 분마다, 3 시간 분량의 동영상이 업로드되고 있습니다 하지만 YouTube에서 아무것도 검색하면 천천히 쿼리 할 수 ​​있습니다 어떻게 모든 데이터를 그렇게 효율적으로 처리 할 수 ​​있습니까? 우리는 매 순간 페이스 북에 대해 이야기 할 수 있습니다 뭔가를 게시하거나 뭔가를 좋아하고 있습니다

너무 많은 사건이 일어나고 있습니다, 우리는 이야기 할 수 있습니다 트위터에 대해 매분마다 좋아하는 3 개, 47,000,222 짹짹이 그렇게 많이 일어나고 있습니다 분당 활동이 일어나고 있습니다 우리는 상상할 수있는 분당에 대해 이야기하고 있습니다 지금 일어나야 할 일이 무엇이겠습니까

사실 유원지가 풍부합니다 매 2 년마다, 데이터가 두 배가됩니다 당신은 달에 도달하기를 원한다 단지 모든 데이터를 태워라 지금 너와 너는 무엇을 가지고 있고 너는 할 수있을거야

달에 두 번 도달하는 것은 데이터의 양입니다 현재 우리가 다루고있는 것 더 나아가 지금 무슨 일이 일어날 지 상상해보십시오 2020 년에 건전지를 가져 가면 나는 항상 서구에게 너희 모두가 앉아 있다고 말하고있다 데이터 폭탄에 그리고 개 폭탄에 이것은 가고있다

현재 일어나고있는 일 때문에 매우 빨리 일어납니다 데이터로 작업하는 기업이 4 ~ 5 %에 ​​불과합니다 데이터의 잠재력을 실현했습니다 이제 그들과의 도전은 그들이 주저하고 있다는 것입니다 Hadoop 도구를 사용하기에 안전한 큰 데이터로 이동 그렇지 않은 이유는 그들이 두려워하기 때문입니다

내일이 바뀌면 어떻게 되겠습니까? 큰 데이터 도메인에 좋은 지원, 그들은 사용자의 수를 얻을 것인가? 누가 그 문제를 해결할 수있을 것인가? 그들이 아직도 생각하고있는이 모든 문제들은, 그들은 같은 이유로 사용하기를 주저합니다 Big Data 도구와 같은 기술 하지만 지금은 이렇게 오래있을 수 없어 확실히 무대가 있기 때문에 DBMS를 전혀 사용할 수없는 곳 또는 그 상황에서 모든 전통적인 시스템 그들은이 전환을해야합니다 2020 년까지이 회사의 5 %가 될 것으로 예상됩니다

40 %로 성장하고 지금 당장 상상해보십시오 너는이 indeedcom 또는 nok3com에 간다 당신은 매우 많은 일이 구매 경로를 위해 나타나고있는 것을 보았습니다

빅 데이터와 모든 것, 2020 년에 일어날 일을 상상해보십시오 엄청난 수요와 종이 공급 부족 나는 당신 회사에서이 말을 분명히한다 네가 일하는 중이라면 데이터베이스 회사에서 해보자 당신은 고위 관리자가되어야합니다 어쩌면 수석 디렉터 일 수도 있고 부사장 일 수도 있습니다

때로는이 사람들을 생각해 보라 그들의 경력을 시작한 것은 정말 행운입니다 20 년 전 Oracle DB 또는 DBMS 누가 지금 막오고 있으며 오늘 그들은 VP가되었습니다 나는 여전히 소프트웨어 개발자 입장에 앉아있다 그것은 매우 일반적인 생각입니다

너의 마음에 나는 그것에 대해 꽤 확신한다 이제 당신은 정확히 같은 위치에 앉아 있습니다 내일 세대, 당신의 미래 세대 비슷한 방식으로 정확하게 생각할 것입니다 그들은 또한 같은 방식으로 생각할 것입니다 이 사람들은이 빅 데이터 영역의 운 좋은 사람이었습니다

방금 나왔다 그들은 실제로 아파치와 함께 총격을 받았다 그리고 그들은 오늘 VP가되었고 나는 여전히 앉아있다 이 위치에서, 그래서 당신은 점령 할거야 곧 도메인이기 때문에 곧 그것은 폭발 할 것입니다

그리고 이것은 나, 나는 그것을 말하고 있지 않다 이것은 시작 요원으로부터의 모든 예측입니다 분석가들과 나는 작은 것에 대해서 이야기하지 않고있다 그리고 당신은 블록을 떠날 수 있습니다, 당신은 쉽게 할 수 있습니다 사실, 많은 사람들이 가지고있는 모든 것을 얻으십시오

또한이 수준으로 와서 말하기를, 향후 5 년간의 사람들 누가 데이터 또는 아파치 스파크로 변신하지 않을 것인가? 그들은 심지어 시장에서 살아남을 수 없을 것입니다 이것은 또한 분석가에 의해 말하고있다 이제 2020 년까지 데이터의 양을 상상해보십시오 그걸 다루면, 쇼핑몰, 쇼핑 카트, 차량 및 데이터를 생성하는 이러한 종류의 이벤트 지연 될 데이터의 양을 상상해보십시오 사실 이것은 당신이이 용어에 대해 들었을 것입니다

IoT, 장치의 인터넷 그 자체로 큰 데이터가 필요합니다 왜냐하면 많은 양의 데이터를 생성합니다 그래서 주위에 많은 일들이 일어날 것입니다 Big Data Analyst에 대해 이야기하고 정확히 무엇을 말합니까? 이 Big Data Analytics는 정확히 무엇을하고 있습니까? 이제이 과정은 처음부터 웹 로그 분석이란 무엇인지 이해해주세요

웹 로그 분석은 당신이 주어진 데이터와 당신은 그것으로부터 약간의 통찰력을 생성합니다 그것으로부터의 의미있는 통찰력, 당신은 원한다 데이터에서 어떤 정보를 얻으려면 현재 데이터가 당신과 함께 앉아 있기 때문에, 당신은 데이터에 대한 어떤 생각도 가지고 있지 않습니다 데이터와 그것에 대해 전혀 모른다 하지만 그 데이터와 관련하여 일하고 있습니다

분석가로서 당신은 데이터의 의미있는 정보 이를 애널리틱스라고 부르지 만 현재 주요 문제 데이터가 대량으로 증가했기 때문에 빅 데이터 그렇게 많이 데이터를 분석 할 수있는 방법은 무엇입니까? 데이터를 사용하여 내부에서 비즈니스를 얻을 수 있습니까? 우리가 이해하고자하는 모든 요점, 이 행동은 Big Data Analytics라고합니다 이제 일반적으로 수행되는 두 가지 유형의 분석이 있습니다 첫 번째 종류의 분석을 배치 분석이라고하며, 두 번째 종류의 분석을 실시간 분석이라고합니다 그게 다 뭐니? 하나씩 이해해 봅시다 이 배치 분석이란 정확히 무엇입니까? 실시간 분석? 이제는 모두 가정에서 세탁기를 사용해야합니다

또는 세탁기에 대해 쉽게 들었습니다 이제 당신이 정말로 할 수있는 일, 당신이 수집 할 때 옷을 벗고 언젠가는 씻어 라 아니면 옷을 벗기 자마자 당신은 먼저 그것을 씻은 다음 목욕을하고 그것을 사용하십시오 따라서 일반적으로이 부분을 일반적으로 수집합니다 옷과 어쩌면 언젠가는 그냥 넣어 세탁기에서 모든 옷을 처리하십시오

요가가 과정 일 때 모든 옷을 씻는 것을 의미합니다 이런 종류의 처리를 Batch purposing이라고합니다 일부 데이터를 수집 한 다음 나중에 처리하는 곳 그래서 우리는 이것을 호출 할 것입니다 일괄 처리를 통해 이전 데이터를 볼 수 있습니다 당신이 일종의 처리를 할 때 이를 일괄 처리라고합니다

실시간 처리, 한 가지 예를 살펴 보겠습니다 신용 카드 결제를하고 있다고 가정 해 보겠습니다 그리고 대부분의 사람들이 신용 카드를 사용해야한다는 것을 확신합니다 또는 직불 카드를 온라인으로 할 수 있습니다 Edureka에게 지불하면 온라인으로 할 수 있습니다

확실히 모든 사람들이 자신의 카드를 사용해야합니다 지금 당신이 인도에 바로 앉아 있다면, 방갈로르시에 앉아서 신용 카드 거래, 즉시 10 분이 지나면 귀하의 부분도 미국에서 스 와이프됩니다 그것은 가능합니다, 틀림없이 당신은 생각합니다 은행이 일종의 다리 역할을한다는 것은 의미가 있습니다 여전히 발생하고 나중에 그들은 그것은 진정한 연결이거나 맞지 않습니다

확실히 그들은 다르게 기다리고 싶지 않다 외국 사람들이 일어난다면 그것은 그들의 손실 일 것입니다 실시간 이벤트가 발생하는 즉시 사람이 스 와이프하려고한다는 메시지를 받으면 외모가 보이지 않는 곳의 카드 진정한 연결, 그들은 둘 중 하나를 시작합니다 보내기 OTP를 사용하거나 연결을 차단합니다 그들은 즉시 당신에게 전화를 할 것이고, 그들은 당신에게 물을 것이다 이 연결을했는지 여부 이것은 우리에게 이상한 것처럼 보입니다

묻기 시작하고 일단 승인하면 그들은 그 거래가 일어나게 할 것이고, 과거 데이터에서 처리가 진행 중입니다 또는 현재 데이터, 현재 데이터 그럼, 우리가이 처리를하고 있다는 것을 의미합니다 실시간으로 데이터가 언제 어디서 오는지 나는 즉시 처리를해야한다 나는 카드와 리얼 타임을 스 와이프하고 내 시스템은 활성화되고 알고리즘을 시작하고 실행합니다

이 거래를 허용할지 여부를 확인합니다 이제이 두 번째 유형의 처리 실시간 처리 (Real Time Processing)라고합니다 그래서, 당신에게 차이점을 설명하기 위해 일괄 처리와 실시간 처리 사이 따라서 일괄 처리 또는 과거 데이터에 대한 책 동시에 두 번째 종류의 가공 작업 즉각적인 데이터가 그 차이점입니다 우리가 모든 것을 이야기하는 동안, 실시간 분석에 관해 이야기한다면 방금 이야기했습니다

신용 카드처럼 사용 사례가 거의 없습니다 은행 업무에서 정부 기관에 매우 중요합니다 너는 우리의 어둠의 예술을 원하고 있건 없건간에, 그래서 만약 당신이 인도에 있다면 당신은 그것을하고있을 것입니다 실시간 처리를 위해 하나 더 인스턴스를 줄 수 있습니까? 우리가 얘기하면 지금 Amina를 사용하기에 앞서있다 어떤 주식 시장 분석 권리, 주식 시장 분석

우리가 그것에 대해 이야기한다면, 바로 지금 무슨 일이 일어날 지, 많은 회사가 있습니다 당신은 관용 검색에 대해 들었습니다 Goldman Sachs 너는이 회사들에 대해 들었 니, 모건 스탠리, Goldman Sachs, 연구 이벤트, 당신이이 이름들에 대해 그들이 무엇을하는지 들어 본 적이 있습니까? 그들은 스마트 알고리즘을 개발했습니다 너는 네가 그들에게주는 돈을 신청하라 당신 주식에 대한 당신의 돈, 그들에게 무엇을 할 것인가? 그 알고리즘은 일종의 예측과 말을 할 것입니다

좋아이 주식 가격은 높을거야 이 주식 가격은 낮아질 것입니다 알고리즘을 공개하지 않기 때문에 그것들은 더 좋지만 상처는 상처를 새롭게해야한다 그들은 그것들이 그들의 손실이 될 것이지만 그들이하는 일은 그들에는 똑똑한 알고리즘과 그 알고리즘이 있습니다

실시간으로 어떤 일이 일어 났는지 의미합니다 시장에서 어떤 비정상적인 사건이 발생하면 Plexus top의 주식 위탁 회사 또는 아래로 내려갈 수 있습니다 무엇이 있어야 할 것인가, 그들은 즉시 자신을 보냄으로써 고객 그들이 어떤 사건을 발견하면 잃지 말라 주식이 이익을 낼 수있는 실시간 그들은 기본적으로 그 주식을 살 것이고, 그래서이 알고리즘 세트는 실행 중입니다 리얼 타임 스케일에서, 내가 무엇을 알고 있는지

그래서이 모든 회사들은 이 실시간 처리 부분 마찬가지로 여러 텔레콤 회사가있을 수 있습니다 건강 관리, 건강 관리는 매우 중요합니다 환자가 왔을 때, 지금 환자가 왔을 때 우리는 즉시 통찰력을 얻고 싶다 어떤 정보가 주어 지든 그것에 기초하여 일부 처리 수단은 환자 치료를 시작합니다

그래서 모든 것들은 실시간으로 일어나고 있습니다 왜 아파치 스파크를 사용해야할까요? Hadoop이 이미있을 때, 우리가 이야기하는 이유 이 일괄 처리 및 실시간 처리에 대해? 그 부분을 이해합시다 포인트 1 번은 매우 중요합니다 Hadoop에서는 일괄 처리 만 가능합니다 Hadoop이 실시간 처리를위한 것이 아님을 의미합니다

이제 데이터를 수집했다고 가정 해 봅시다 하루 둘째 날에, 당신 만이 당신을 처리 할 수 ​​있습니다 그런 종류의 무언가 나는 단지 말하는 것이 아닙니다 하루라도 데이터를 처리해야한다는 것입니다 역사적인 데이터 인 R 단어를 하나만 말하자

하지만 그 데이터에 즉시 액세스 할 수는 없습니다 이것이 Hadoop 시스템에서 수행되는 작업이지만 우리는 아파치 스파크에 대해 이야기했다 시간이 없다 당신이 여기에서 할 수있는 것은 언제 어디서나 데이터 너는 즉시 그것을 처리 할 수 ​​있고, 즉각적인 처리가 사건이나 현장에서 발생할 수 있습니다 이제 나에게 또 다른 질문을 할 수있다

스파크는 실제 시간 지정 데이터에만 사용됩니까? 아니요, 스파크를하고 역사적 데이터를 다루는 것은 배치 종류를 의미합니다 처리의뿐만 아니라 그것은 초당 실시간을 할 수 있습니다 그래서 두 가지 종류의 프로세싱을 모두 할 수 있습니다 아파치 스파크, 유일한 이점인가? 아니, 존경심으로 두 가지 더 이해하자 아파치 스파크에게

이제 우리가 하둡에 관해 이야기 할 때, 그냥 그렇게했습니다 Hadoop Spark처럼 일괄 처리가 발생합니다 이제 우리가 스파크에 왔을 때 그것은 존경심으로 일어납니다 귀하의 실시간 처리에 이제 너를 설명했던 것과 똑같은거야

그래서 내가하는 일은 데이터를 처리 할 수 ​​있습니다 여러 소스에서 데이터를 처리 할 수 ​​있습니다 실시간으로 매우 사용하기 쉽습니다 이제 MapReduce 프로그래밍을 작성한 사람이 있습니까? 아니, 만약 네가 그 일을 알았다면, MapReduce는 명시된, 사미르가 그렇게했던 것처럼 그렇게 쉽지는 않습니다 사미르, 쉽게 전달할 수있어

따라서 초보자가 필요로하는 것처럼 쉽지 않습니다 MapReduce를 배우는 것은 쉬운 일이 아니다 시간이 걸린다 그것은 프로그램을 작성하는 측면에서 복잡합니다 Spark를 사용하면 매우 쉽고 Spark도 가능합니다

장점이 하나 더 빠르며 처리 속도가 빠릅니다 이 스파크는 매우 빠른 속도로 처리 될 수 있습니다 하나 인 MapReduce 프로그램에 Apache Spark의 주요 장점 중 하나입니다 이제 자세히 살펴보고, 일단 내가 그 부분을 설명하면 모두 내 MapReduce를 더 천천히, 왜 아파치 스파크 더 빠르고, 왜 우리가이 모든 진술을하고 있는가? 아파치 스파크 (Apache Spark)가 무엇인지, 어떻게 동작하는지, 이 부분을 이해합시다 그래서 나는 지금 내 눈을 멀게 할거야 내 스크린 공유하게하면 알았어

단계별로 단계별로 설명해 보겠습니다 어떤 MapReduce 보스, 무슨 문제 였어? MapReduce를 사용하여 방금 내가 말한 것을 기억하십시오 MapReduce가 더 느린 이유는 무엇입니까? 그래서 나는 너를 조금씩 자세히 설명 할 것이다 그래서이 부분을 이해하자 몇 가지 예를 들어 보겠습니다

파일을 가지고있다, 그 파일은 그것이라고 말할 것이다 약간의 데이터가있다 사과, 바나나를 보자 그래서 나는 너희 모두가 이미 Hadoop 시스템에 대한 지식이있다 당신은 탈출 과정의 데이터에 대해 알고 있습니다

Hadoop 시스템에서 알려 주시면 알려 드릴 필요가 없습니다 우리가 128MB로 데이터를 분할하는 것처럼, 나는 추측하고있다 여러분 모두 이미이 주제를 알고 있습니다 이제 오렌지색으로 복사하겠습니다 내 데이터가 이런 종류라고 가정 해 봅시다

이것이 내 친구라고 가정 해 봅시다 지금 나는이 파일을 이미 말하게하고있다 거기에 무엇이 있는지, 256 MB라고하자 지금이 데이터를 기본 크기로 나누는 경우 얼마나 많은 블록을 만들지, 두 블록 따라서 128MB, 128MB가 될 것입니다

이제 이것은 두 개의 블록을 만들 것입니다 128MB 및 128MB 네 상사가 너에게 간다고하자 그리고 너에게 말했다 나는 이런 문제가 필요하다

그리고이 문제를 나에게 둘 필요가있어 내가 어떤 문제의 수를 말할 때, 이제이 파일에서 저는 세 가지 핵심 단어 만 가지고 있습니다 사과, 바나나, 오렌지 몇 번이나 사과 이 파일에서 여는 중 바나나 이 파일에서 여는 중입니다 몇 번이나 오렌지색입니까? 이 파일에서 여는 중입니까? 너 나왔고 이런 식으로 일하기 시작 했어 당신은 쉬운 문제라고 생각했는데 왜냐하면 내 파일을 두 부분으로 나눌 수 있는데, 128 MB 128 MB 각각 무엇을할까요? 나는 분산 된 패션으로 나갈 것이고, 나는 그것에 대해 연구 할 것이다

분산 된 방식으로 작업하려면 제가 할 일은 제가 말하려고합니다 이런 식으로이 문제를 풀어 라 나는 괜찮을거야, 너 한테 사과 두 개를, 오렌지가 4 개, 바나나가 B가되어서 만듭니다 조금 간단한, 지금 당신이 무엇을 할거야? 당신이 두 사과 먹고 싶다고 설정한다고 가정 해 봅시다 하나는 이것 앞에서, 두 번째는 바나나 칩, 이제 사과 앞에 사과가 필요해

왜냐하면 이것은 첫째로, 오렌지 케이크를 제안하고있다 너는 그들 앞에서 하나 추가하기 시작했다 그들이 다시 왔을 때, 당신은 그 사과를 보았습니다 이전에 이미 발생했으며 카운트가 하나였습니다 그래서 이번에는 글꼴을 하나씩 늘릴 것입니다 당신은 그것을 파견하게 만들었습니다

이제 다시이 알고리즘을 비슷한 방식으로 수행했습니다 바나나 때문에, 당신은 첫 번째 블록을 위해 이것을 계속했습니다 일할 수있는 코드의 두 번째 블록에 대한 작업 다른 기계에서, 당신은 정확히 자극을했습니다 당신은 정확히 비슷한 단계를했습니다 이제 다음 단계는 무엇입니까? 이 경우에 할거야? 이제 이것으로 다음 단계가 될 것입니다

무슨 일이 있어도 출력을 위해 결합해야합니다 먼저 사과를 결합하고자하는 모든 것을 말하자 몇 번이나 제안했는지, 여기에서 말하자 너 사과하러 가자 20 수업에서 두 ​​번째 블록에서부터 a의 출력, 질량에서 34, 유사하게 바나나 때문에, 당신은 그렇게했습니다, 바나나 때문에, 56 개를 구입했다고 가정 해 봅시다

두 번째 바나나,이 오렌지와 오렌지, 결국 당신은 이것을 결합하고 출력을 줄 것입니다 그래서 당신은이 종류의 무언가를 다음에 할 것입니다 a, 20, 34 그리고 여기 또한 바나나를 위해 할 것입니다 당신은 오렌지를 위해 할 것이고 결국에는 당신이 할 것입니다 알았어, 1 해결책 가져와

네 상사 한테 내가이 문제를 해결한다고 말해라 네 사장님이 너와 행복하지 않을거야, 왜? 텔넷에 문제가 없습니다 이 접근법을 사용하면 올바른 접근 방식이 아닙니다 아무도 여기서 성능 병목 현상이 어디 있는지 말해 줄 수 있습니까? 성능 병목 현상은 어디에 있습니까? 왜 이것이 올바른 접근 방식이 아니라는 것을 말하고 있는가? 아무도이 양식 진술서를 볼 수 있습니까? 문제가 어디에 있습니까? 그래서, 집계 부분을 말할 필요가 있습니다 이 집계 부분은 아폴로입니다

다른 사람이 거기서 말한 것은 어떨까요? 다른 문제에 대해서는 문제가 없다고 가정 해 봅시다 그것이 매우 빠르다고 말하자 다른 사람을 기다려야한다 아니, 그건 맞는 해결책이 아니야, 실제로 문제가되지 않으므로 이것이 일종의 연결된 것이라면 다른 사람들을 기다릴 수없는 방법으로 다른 솔루션은 무엇입니까? 여기에 무슨 문제가 있습니까? 그런 다음 해결책이 무엇인지, 알 수 있습니까? 여기의 문제, 이 128 MB 파일, 당신 생각하십니까? 텍스트 데이터 만있는 경우 작습니다 너는 작아 질 것이라고 생각하니, 아냐

이제이 단계를 수행 할 때, 당신이 당신의 성적을 떨어 뜨리고 있다고 생각하지 않습니까? 요소가 올 때마다 당신은 가고 있는지 여부를 다시 확인하고 있습니다 그 요소는 이전에 또는하지 않았고 둘째로, 그러면이 숫자를 더합니다 이것이 우리 병목 현상이라고 생각하지 않습니까? 나는 이것을하기를 원하지 않는다 왜냐하면 매번 우리가 돌아갈 필요가있을 때마다 새로운 입장이 올거야 해당 요소가 이전에 발생했는지 여부를 확인하십시오

이것이 알고리즘의 주요 병목입니다 MapReduce가 어떻게 이것을 해결했는지, MapReduce가 이 문제를 해결하는 올바른 솔루션 프로세스는 무엇입니까? 그럼 어떻게 해결할 수 있는지 보도록하겠습니다 그래서 병목 현상이있는 곳에서 나는 진짜 흥분하지 않았습니다 우리가 돌아보고 있었기 때문에 그 병목 현상을 제거하면 보자 여기에서 지금이 솔루션을 제거하겠습니다

우리가 할 일은 더 나은 해결책을 내 보자 그래서 우리가하려고하는 것, 그래서 나는 가고 있다고 말한다 이번에는 사과 하나 만들어, 바나나를 만들거야, 하나 나는 오렌지색으로 만들거야 이번에 다시 실제가 왔을 때 나는 가서 돌아 보지 않을거야 이제 다시 여기에도 쉼표 하나만 넣을 것입니다

이것 앞에 열쇠가 무엇이든간에 나는 이것 앞에서 하나 덧붙이고있다 비슷하게, 나는 두 번째 드롭도했다 그래서 두 번째 블록에 대해서도 정확하게 했어요 내가 기다리지 않는 것과 똑같은 것들, 나는 아니다 가서 이전에 증가했는지 확인하십시오

이제 다음 단계에서 내가 할 일 사과가 나온 곳마다 나는 그들을 모으고 싶다 그래서 나는이 엔트리들을 결합 할 것입니다 이 두 기계 모두에서 나는 결합하려고합니다 이 관심과 내가 어디에서 할 것인지 나는 사과 또는 크림을 느낀다 함께 데려 가자

사과 쉼표 하나, 사과 쉼표 하나, 사과 쉼표 하나, 어디에 있든간에 두 기계 모두에서 우리가 어떻게 할 수 있을까요? 정렬을하면됩니다 모든 것을 하나의 기계로 통합 그런 다음 정렬 단계를 수행합니다 비슷하게 바나나를 위해 할 일 그래서 바나나 쉼표 하나, 바나나 쉼표 하나, 계속 해보자 지금은 비슷하다 내가 오렌지를 위해서 할 수있는 일

그래서 나는 계속 그렇게 할 수 있습니다 다음 단계에서 다음 단계는 무엇입니까? 이 모든 것을 하나로 결합 할 것입니다 사장이 올 때마다 나는 그냥 데리고 왔어 바나나와 비슷하게 나도 그렇게 할거야 이제 모든 사람들이 솔루션의 냄새를 맡을 수 있습니다

우리는 해결책을 냄새 맡을 수 있습니다 다음 것은 무엇입니까? 나는해야한다 나는 모든 것을 결합해야한다 모든 것을 집계하십시오 출력을 줄 것 인 3 번을 제공하고있다

쉼표 3 개, 쉼표 3 개, 숫자 3 개 하나의 거기에있을 것입니다 내가 그 출력을 결합하는 것입니다 그래서 쉼표 3, b 쉼표 3 우리가하는 일이 무엇이든, 나는 여기서 예를 든다 이제 MapReduce가 문제를 해결하는 방법입니다 그래서 우리가 한 조치가 무엇인지 알면 우리가 한 첫 번째 단계는 Mapper Phase로 불립니다 두 번째 단계는이 두 단계를 수행 한 것입니다 정렬 및 셔플 피치 및 제 3 단계 여기서하고있는 것을 감속기라고합니다

그래서 이것들은 관련된 세 단계입니다 MapReduce 프로그래밍에서 이제 이것이 어떻게 당신이 당신의 문제를 해결할 것인가입니다 이제는 알았습니다 왜 MapReduce가 더 낮았는지, 아직도 수수께끼가있다

우리는 분명히 이해하기를 원하기 때문에 우리가 왜 MapReduce에 대해 이야기했는지 이 문제를 해결하기 위해 더 낮습니다 우리는 복제를 다시 시작하는 중입니다 이걸로 나는 네가 모든 것을 알고 있다고 가정하지 않았다 Hadoop 시스템의 이러한 사실은 모르는 경우 나 한테 물어 봐야 해, 알았어 그래서 나는 당신에게 적절한 예를 줄 수 있습니다

그래서 나는 지금 당신이 복제를 알고 있다고 가정하고 있습니다 그래서 나는 복제 인자가 하나라고 가정하고 있습니다 이것은 지금 일어날 일입니다 지금 내가 이것을 실제로 본다면 나는 이것을하고있다 그래서 나는이 두 기계를 가지고이 두 기계를 추가한다

이 두 기계는 지금 ​​당장 내 모든 작업이 일어나고있다 그래서 이것은, 디노에 대해 다시 한번 말하지만, 나는 이것을 알고 있다고 가정하고 있습니다 네가 날 막지 않으면이 두 사람이야 너의 데이터 노드 야, 알았어 이 두 가지는 데이터 노드이므로 어디에서 데이터는 요인 데이터 노드에 상주하므로 어떤 것이 될 것인가? 이게 너의 블록 b라고 말하자

그리고 이것이 당신의 블록 b 2라고 말하자 그래서 무슨 일이 일어나면, 이것은 하나의 블록이 될 것입니다 내 복제 요소가 하나라고 생각한다면 이 한 블록은 다음에 가장 어려운 곳에 거주하는 것입니다 데이터 노드 1과이 블록 2 블록이 존재 함 데이터 노드 2의 하드 디스크에 저장됩니다 이것은 우리가 데이터 노드 2, 이것이 데이터 노드 하나라고 말할 수 있습니다

이제 무슨 일이 일어날 지 알면 처리를 수행하는 곳 디스크 레벨에서 처리를 수행합니까? 또는 메모리 수준에서 처리를 수행합니까? 처리가 이루어지는 곳에서 대답을 얻을 수 있습니까? 기억, 항상 그 기억 어디 처리가 발생합니다 이제 우리가해야 할 일은, 이제 매퍼 코드는 첫 번째 코드 실행될 코드는 매퍼 코드가됩니다 매퍼 코드가이 컴퓨터에 올 때 이 블록은 하나, 밖으로 이동됩니다 디스크 란 책상에서 메모리로 복사하는 것을 의미합니다 이 기계의 한 블록은 메모리에 올 것이다 이 머신의 mapper 코드가 실행됩니다

마찬가지로,이 기계의 블록에 b 이 기계의 기억을 향해 나아 간다 그리고 그것은 처형 당할 것입니다 자, 당신이 컴퓨터 과학 프로그램의 품질이라면 또는 당신이 아니라고해도, 당신은 생각했을 것입니다 입출력 연산이 일어날 때마다 내가 입 / 출력 작동을 말하면 나는 의미한다 귀하가 귀하의 데이터를 디스크에 저장하거나 데이터를 디스크에 씁니다

그래서 이것을 입출력 작업이라고합니다 그래서 내가 말하는 것은 당신이 이것을 들었을 것입니다 입 / 출력 작업이 발생할 때마다 당신이 가지고 있기 때문에 그것은 성능을 저하시킵니다 디스크 찾기와 모든 것들을 할 수 있습니다 그래서 그것이 그들의 연기를 느리게하는 이유

지금이 예제에서 나는 입출력 작업을하고있다 이제 이것은 내 메모리에 데이터를 복사하는 입력 경로입니다 이제 출력을위한 맵은 하나의 Mapper 출력입니다 이것은 매퍼 출력이며, 매퍼 출력은 이제 전화를 겁니다 이 말을하자

하나,이 출력이라고 부르 자 O 2로, 지금 무슨 일이 일어날 것인가? 이 모든 출력은 디스크에 다시 제공됩니다 이제이 오 하나가 여기에 다시 저장 될 것입니다 두 명이 여기에 다시 저장 될 것입니다 무슨 일이 일어 났습니까? 매퍼 출력 2 개를 여기에 저장했습니다

이제 이것이 다시 입출력 작업이라는 것을 알게되면 지금 나는 책상으로 출력 작업을하고있다 질문 컨트롤러, 무슨 일이 일어날 것인가? 블록 크기가 크면 효율적일까요? 메모리를 사용하려면 지금 당장 이 기억은 적어도 유지하기에 충분하다 128 MB의 데이터를 올리십시오 그렇지 않으면 오류가 발생합니다

MapReduce 프로그래밍에서, 당신은 단순히 다른 당신이 128MB의 데이터를 말하게한다면 128MB 미만의 메모리가있는 경우 너는 다른 최대 팩을 가질 것이다 이 문제를 해결하는 매우 현명한 방법입니다 스파크는 아무런 문제가 없으므로 기억을 덜 할 수 있습니다 그것은 여전히 ​​그것을 돌보아야합니다 스파크에 관한 아주 흥미로운 이야기 MapReduce에 관해서는 오류가 없다고 말합니다

사라, 그게 우리가 실제로 나눌 이유 야 우리의 데이터는 128MB로, 적어도 우리의 기억 그것을 처리하기에 충분해야합니다 자, 어떻게 될까요? 그래서 나는 첫 번째 O를 가지고 있고 나는 이미 관찰했다 내 입력 출력 작업이 시작됩니다 셔플을 정렬하면 셔플이 일어납니다

하나의 기계에서 일어날 것입니다 이 단계가 하나의 시스템에서 일어나고 있다고 가정 해 봅시다 그래서 만약 당신이 데이터가이 기계 전체에서 나왔다면 하나의 기계에, 그래서 그들이 결정한다고 말하자 정렬 및 셔플을 할 때 데이터 노드 하나, 이 자동 기계는 네트워크 전송을 할 것입니다 데이터의,이 O 2는 여기에 올 것이다

그 후이 종류와 셔플 단계가 일어날 것입니다 이 출력에서 ​​나오는 결과를 보겠습니다 오, 셋입니다 오, 셋입니다 이제 다시이 두 사람이 기억에 보내질 것이며, O 2는 메모리와 O 3에 전송됩니다

그 후에 다시 디스크에 저장됩니다 당신은 감속기에서 감속을 보낼 것입니다 O 3을 기억으로 가져 오는 것은 무엇입니까? 나는 최종 출력물을 디스크에 밀어 넣었다 그리고 이것은 많은 입출력 작업이 일어나고 있습니다 하나의 프로그램에서, 입력 – 출력 정렬 일본에서 네트워크 이전 완료 그리고 적은 입출력

3 단계 감속기가 입출력 작업을 완료했습니다 다시 한번 많은 입출력 작업을 볼 수 있습니까? 한 프로그램에서 전술적 인 최근 수학 학습 프로그램 자연 속에서는 속도가 느려서 모든 사람들이들을 수있다 MapReduce 프로그램이 본질적으로 느린 이유는 무엇입니까? 이미 로봇을 실행했다면 어떻게 될까요? O'Neil MapReduce에서 당신은 실행합니다 즉각적인 결과를 내지는 않습니다 이상을 실행하는 데는 좋은 시간이 필요합니다

왜 이런 일이 일어 났는가? 너무 많은 입출력 작업, 감사합니다 Ratish 계속 나아가 자 이것이 문제 다 MapReduce를 사용하여 어떻게 아파치 불꽃이 문제를 해결하고있다 어떻게 아파치가 문제를 일으키고 왜 해결할 수 있을까? 그것은 더 빠릅니다 왜 우리는 저의 저것이 빠른 시간 내에 출력물을 줄 수 있습니까? 그래서 그것을 이해합시다 이제 이것을 설명하기 위해, 무엇보다 먼저 나를 보자

여기에 다시 파일이 있다고 가정 해 봅시다 내 데이터가 이와 같다고 가정 해 보겠습니다 3, 5, 6, 7, 8 더 많은 데이터 더 많은 데이터가 있으므로이 데이터를 가져와 봅시다 유사하게 더 많은 데이터 34, 78, 3, 6이 있습니다

이제 이것이 하나 더 많은 데이터라고 가정 해 봅시다 마찬가지로 여기에 더 많은 데이터가 있다고 가정 해 봅시다 23, 67, 1, 9가 승진했다고합시다 이제 파일 크기가 34MB임을 알려 드리겠습니다 384MB, 죄송합니다

이 파일은 384 MB이고 두 번째 것은 Ftxt 파일의 이름을 말하자 이 파일의 이름입니다 이제 나는 너에게 외계인의 말을 쓰고있다 내가 설명 할 것이기 때문에 걱정하지 마라

이 부분, 내가 가진다면, 이게 뭔지 걱정하지 마세요 전 그냥 문자 메시지 일 뿐이에요 우리가 정확히 무엇을하는지 이해합시다 이제이 예에서도 내가 만든 것을 가정 해 봅시다 이 클러스터는 내 이름이 아닙니다

데이터 노드는 아닙니다 지금 여기서 일어나는 일이 당신에게하고 있습니다 이 파일의 Ftxt는 384MB이고, 그래서 내 파일이 나뉘어져 있다는 것이 명백합니다 세 부분으로 b 1, b 2, b 3 블록

이제 다시 여기서 가정합니다 나는 이것을 b 블록이라고 부르고 있는데, 이것을 B 블록이라고 부르면됩니다 이것을 b 블록 3 블록이라고 부르면됩니다 각각 128MB 이제 내 다음 단계는 무엇입니까? 그래서 저는 우리가이 블록들을 가지고 있다는 것을 이해했습니다

이제이 파일이 내 HDFS에 있다고 가정 해 봅시다 따라서 디스크에있는 곳에서 보관하십시오 디스크에서 b 블록 하나, b 여기 두 블록, b 세 블록 이제 데이터 노드에 상주 할 곳 디스크에서, 당신은 이것이 우리의 NTFS 데이터베이스라고 생각합니다 이제 첫 번째 매핑을 시작하자 마자 무엇보다도이 부분을 이해하기 전에 내가 너에게 한 가지 더 설명해 줄께

Java의 주요 진입 점은 무엇입니까? 당신이 어떤 프로그램도 쓸 수 없다면, 아무도, 주요 기능을 알아 주요 기능이 없으면 아무 것도 할 수 없습니다 이제 아파치 스파크에서도 거기에 하나의 주 진입 점이없는 경우, 어떤 응용 프로그램도 작동하지 않습니다 그 엔트리 포인트는 Spark Context라고 불린다 또한 Spark Context를 SC로 나타냅니다

이제 이것이 주요 진입 점이며 이것이 마스터 머신에서의 사이드들, 그래서 우리는 계속 지킬 것입니다 당신이 알고있는이 SC Java 프로그램, 하나의 프로젝트를 작성했다고 가정 해 봅시다 한 프로젝트의 경우 별도의 주 기능이 있습니다 다른 프로젝트에서는 별도의 주 기능이됩니다 유사하게,이 SC는 분리 될 것이다 개별 응용 프로그램마다

이제 첫 번째 코드 줄을 이해해 봅시다 그들이하는 일을 이렇게 무시해 버려 이 기이함은 그 부분을 무시하는 것입니다 당신은이 기이함을 어떤 데이터 유형과 관련 지을 수 없습니다 예를 들어 Java에서 우리는 문자열 데이터를 가지고 있습니다

그래서이 이상한 것을 대체 할 수 있습니다 이 RDD를 문자열로 바꾸지 않아도됩니다 그것은 숫자가 참을 수 없다는 것을 의미하므로, 그 번호는 얼마 동안 들리지 않는다 우리는 SC가 Spark Context를 의미한다는 것을 보았습니다 Spark 응용 프로그램을 사용하지 않으면 실행되었습니다

이제이 텍스트 파일 이것은 아파치 스파크의 API입니다 이 세부 사항에서는 다른 스탭 세션을 읽었습니다 그러나 나는 당신에게 무엇에 관한 아이디어를 줄 것입니다 이 텍스트 파일은이 텍스트 파일 API가 할 일, 아파치 스파크에서 어떤 파일이든간에 당신은 그 Ftxt 안에 기록했습니다

해당 파일을 검색하여 메모리에로드합니다 당신 기계의 어떤 의미일까요? 이제이 경우 Ftxt 예 세 대의 기계에서 예 F

txt는 b 블록 하나, b 블록 두 블록, b 블록 세 블록입니다 그래서 일어날 일은 당신의 b 블록 일 것입니다, 내가 이것을 만들자 이것이 내 RAM이라고 가정 해 보자 이것이 내 RAM이라고 가정 해 봅시다 이 경우 일어날 일은 그냥 한 블록 복사됩니다 나는 움직이지 않는다고 말하고있는 중이다

이 기계의 본문에 복사됩니다 b 두 블록이 메모리에 복사됩니다 이 기계의 3 블록이 복사됩니다 이 기계의 기억 장치에 그러면 블록이 전송되는 방식입니다 이 머신 메모리에, 지금 무슨 일이 생길까요? 그래서 우리는 단지 그 중 하나를 이해했습니다

b 2, b 3 블록 여기, 나는 그것을 추측하고있다 내 기억은이 모든 자료를 저장할 정도로 크다 이제 우리가 모든 블록을 다룰 경우 어떻게 될까요? 의무적 인 것은 아니지만, 모든 블록 크기가 동일해야하는 것은 아닙니다 그것은 다른 것도 줄 수 있습니다 그것은 중요하지 않습니다

각각의 블록 크기가 어떻든간에 블록을 메모리쪽으로 복사하려고합니다 그 첫 번째 코드 줄에서 일어난 일입니다 자,이 세 파일은 적어도 메모리에 앉아서 결합되어 있다고합니다 RDD로, 그래서이 세 파일은 우리의 RDD라고 불리는 메모리에 결합하여 말하고 있습니다 RDD의 이름은 무엇이며, 우리는 번호 RDD를 부여했습니다

그래서 우리는이 RDD에 RDD라는 이름을 붙였습니다 RDD 란 무엇인가, RDD는 분산 데이터, 기억에 앉아 RDD의 완전한 형태는 무엇입니까? RDD 예, 탄력적 인 분산 데이터의 완벽한 형태 이제 한 가지 질문을 드리겠습니다 분산 된 데이터인가요? 분산 된 데이터 이건 아니건간에 그렇습니다

분산 데이터입니다 무엇을 이해합니까? 탄력있는 대답을 얻을 수 있습니까? 너는 뭘로 이해하는지, 뭘 읽는지 보렴 비록 청취자는 아니지만 그래도 나는 단지 원한다 당신이 무엇을 이해하는지 이해하기 이 핵심 단어, 탄력? 탄력성이란 실생활을 의미합니다 그것은 신뢰할 수있는 영어 의미입니다

이제 네가 그런 식으로 부를 수있다 지금 내가 신뢰할 수있는 말을 할 때 이제는 언제든지 질문에 이르게됩니다 나는 무엇보다도 RAM에 대해 이야기하고있다 RAM에 데이터를 유지한다면 이것은 내 전체 시스템에서 가장 휘발성이있는 것 네가 뭔가를 가질 때마다 랩톱을 다시 시작하면 모든 항목이 지워집니다

당신의 RAM에서 나는 가장 휘발성이있는 것을 얻는다 지금은 여전히 ​​RDD가 탄력성이 있다고 말합니다 나는 데이터를 잃어 버릴거야 즉시되지 않았습니다 방금 노트북이나 다른 것을 다시 시작합니다 내 데이터를 잃을거야 이제 어떻게 이것이 인도 될 것입니까? 적용 요소, 복제 인자를 기억합니까? 복제 인자가 2라고하자

복제 계수가 2라고 가정 해 봅시다 이제는이 경우에 더 적은 장비가 있다면, 그래서 하나의 바위가 여기 앉아 있다고 해봅시다 B 블록이 여기에 복사된다고합시다 B 블록이 여기에 복사한다고 가정 해 봅시다 어떤 기계라도 그런 사이딩을하고 있다고 가정 해 봅시다

이제 어떻게 될 것입니까? 이 조건에서 말하자 그냥 차단하고 차단할 수 있습니다 그래서 우리는 잃어버린 것, 잃어버린 것, 그렇습니다 그 단계에 아직 도달하지는 않았지만 나는 말할 것입니다 이것에 관해서는, 아래는 잃어버린 B, 잃어버린 B는 3 점입니다

지금은 세 곳 중 하나입니다 예, 그렇습니다 무슨 일이 일어날 것입니까? 이 머신에는 즉시 세 개가로드됩니다 이 머신간에 즉시 로딩됩니다 이제 b 하나와 b 세 둘 다 낭독을 시작할 것입니다

이 기계에서 함께하면 무슨 일이 일어날까요? 이 세 가지는 에너지로 구성됩니다 그래서 다시 세 명은 기억으로 옮겨 질 것입니다 즉시 RDD가 생성됩니다 그래서 그것은이 RDD에서 큰 의미입니다 네가 잃는다고해도 거기에 눌려있다

데이터 또는 기계를 잃어버린 경우 그건 상관 없어요 그래서 이것을 탄력적 인 부분이라고합니다 이제 더 멀리 움직여야합니다 그래서 우리는 단지 이해했습니다 RDD 란 무엇이며 두 번째로 탄력적입니다

한 걸음 더 나아가 자 그래서 우리는 숫자 RDD를 만들었습니다 지금 나는 또한 RDD 필터를 만들고있다 하지만 지금 내가 할 일은 내가 갈거야 내 번호 RDD에 그것을 만들려면, 단지 번호 RDD

map, 다시이지도가 API이며,이 API는 무엇입니까? 나는 보통 우리 세션에서이 부분을 이해할 것이다 당일에는이 부분을 알려 드리겠습니다 당신의 소개를 위해 그것 위에 간단한 것 이지도 API 내부에 작성할 코드는 무엇이든 실행될 코드가 무엇이든지간에 이 줄 안쪽에 쓰는 것이 실행됩니다 그래서 지금 막 영어 키워드 몇 개를 썼습니다

이 장소에서이 영어 키워드 논리를 대체해야합니다 10 개 미만의 값을 찾으려면 프로그래밍 논리를 얻고, 어쩌면 파이썬 프로그램 일 수도 있고, 스칼라 프로그램 일 수도 있습니다 원하는 프로그램이 무엇이든지간에 그것은 무엇이든 될 수 있습니다 글을 쓸 수는있어 네

따라서 어떤 코드를 작성 하든지간에 지도 기능이 책임을집니다 또는지도 API가 실행해야합니다 이제 우리가 여기서하고있는 일, 한 가지 더 요점은, RDD는 언제나 불변입니다 나는 그것이 불변으로 전달된다는 것을 의미한다 이미 블록 b를 메모리에 넣은 경우 너는 어떤 변화도 할 수 없을거야

너의 블록 하나에, 너는 할 수 없을거야 당신의 블록에서 어떤 변화도 일으킬 수 있습니다 이제 어떻게 될 것입니까? 우리가 일하기 전에 먼저 여기에 오도록합시다 이 부분에서는이 부분을 보도록하겠습니다 그래서 여러분이 스칼라 함수를 작성했다고합시다

또는 어떤 함수 인 파이썬 함수 모든 값을 알아내는 것입니다 10보다 작기 때문에 가정 해 봅시다 이 b 한 블록,이 b 한 블록, 당신은이 4 개의 말을 모든 banch를 묶어 보자 그래서 그 경우 출력은 무엇입니까? 무엇이 출력 될 것인가,이 블록은 쉼표 3 개 이 두 값은 10보다 작기 때문에, 하나의 쉼표 3, 그래서 내가이 블록 SB 블록을 호출 할 수 있습니다, B 4라고 부르 자 여기에서 나오는 출력은 3 개의 쉼표 6입니다

이것을 B 블록 5라고 부르 자 마찬가지로, 당신이 이것을 알게되면 나는 말하지만, 한 쉼표는 9 자이고 이것을 아마 6 블록이라고 부르 자 이 블록을 네 블록이라고합시다이 블록은 다섯 블록입니다 이것은 6 블록입니다

이제 여기서 무슨 일이 일어나고있는거야? 이 B가 기억 속에 앉아있는 한 블록 나는이 코드가 실행될 때 이것을 할 것이다 그 실행은이 B 블록에서 일어날 것입니다 전에 새로운 블록이 생성됩니다 나는 한 블록 B에서 어떤 변화도하지 않을 것이다 이 B 블록에서 십자가를하고 있습니다

그리고 내가 부르는 새로운 블록을 만든다 a B 4 블록 유사하게,이 B 블럭으로부터, 이 B 블록을 5 블록 생성합니다 다시 아침에 앉아있을 것입니다 유사하게, 여기에서는 B 블록이 생성 될 것이다

이제이 경우 귀하의 B 한 블록과 B 네 블록 둘 다 함께 메모리에서 낭독을 시작합니다 마찬가지로 B 2와 B 5가 함께 거주 할 것입니다 B 3과 B 6은 함께 낭독하게됩니다 집합 적으로이 세 가지 모두, B 4, B 5, B 6 RDD라고 불리는 얻을 것이다 그 RDD의 이름은 하나의 RDD를 걸러 낼 수 있습니다 모두 지우시겠습니까? RDD 란 무엇인가, RDD는 어떻게 작동합니까? 이 개념은 모든 사람에게 분명합니다

이것이 스파크가 작동하는 방식입니다 이제 나 한테 물어 보자 이것이 더 빠를 것이라고 생각하지 않습니까? 돈 입출력 운영을하고 있습니까? Map Reduce를 가져 오는 것과 마찬가지입니다 입출력 동작 만 발생합니다 첫 번째 페이지에서 F

txt 파일을 사용할 때 그 후 내 데이터는 항상 메모리를 사용하고있었습니다 그게 내가 어떤 일도하지 않는 이유 야 그 이후의 입출력이 그 이유 다 그것은 당신에게 더 빠른 출력을 줄 것입니다

그래서 스파크가 더 빠릅니다 MapReduce와 비교하면 좋을 것 같아 RAM이 맞아, 분명히 거기에있다 하지만 여전히 스파크가 큰 경우 RAM 또한 그것을 처리 할 수 ​​있다는 것을 알고 있습니다 파이프 라이닝 개념이라고합니다

나는이 세션에서 그것을 다루지 않을 것이다 하지만 네, 커다란 사건이 있습니다 네 기억력이 적 으면 스파크가 가져 간다 사실은 매우 흥미로운 개념, 그래 다시 그것은 매우 흥미로운 개념입니다

스파크가 여전히 처리 할 수있는 너는 조금 더 적은 기억이 있으면 그래서 공원은 매우 스마트 한 프레임 워크가됩니다 사람들이이 논문을 읽는 이유입니다 자, 이제 네가 배웠어 내가 회상 세션을하는거야

우리는이 모든 주제들을 세부적으로 다룰 것입니다 이 상황이 발생하면 어떻게 될까요? 그러면 우리가 계속하는 모든 일들은 어떻게 될 것인가? 내 책상에 여분의 위험이 쏟아 질 것입니다 책상에 데이터를로드하지 않지만 여전히 그것을 처리 할 수있을 것입니다, 그것은 나쁜 일 이었습니까? 당신은 궁금해 할 것입니다 하지만 그것은 단지 파이프 라인에 관한 것일 수 있습니다 번호에 제한이 있습니까? 동시 클라이언트 요청 수, 아니요

원하는만큼 여러 번 읽을 수 있습니다 옳은 일을하고 싶다면 문제가있는 것입니다 거기에 아무런 제한이 없습니다 이제 한 단계 더 나아가 야합니다 그래서 우리는 방금 읽었습니다

이 부분, 지금 당신이 무엇을 알아 차리면 여기에서 일어나는 일이기 때문에, 처음에는 그래서 지금 나는 이미 필터 하나를 가지고있다, 그래서 내가 내 필터 하나, 이건 내 필터 예고 코드를 보자 RDD에 의해이 필터 하나의 RDD는 무언가에 의존하며, 예, 그것은 의존하거나 내 번호 RDD, 내 번호 RDD에, 내 번호가 의존하고있다 또는 뭔가 예, 그렇습니다 Ftxt, 그래서이 파일은 자고 있습니까? 아니요, 이것이 제가 여기서 삭제 한 그래프입니다 이 그래프는 즉시 문맥 정지에 의해 유지됩니다

이 모든 문장과이 태그를 실행합니다 이것은 dat, directed acyclic graph 계보로도 불린다 그래서 계통에서 일어난 일은 모든 데이터를 유지합니다 모든 정보를 유지 관리하는 f와 같은 의존성은 의존성을 가지고있다 당신의 번호, 번호는 의존성이 있습니다

Ftxt에서이 의존성 그래프가 무엇인지 계보는 혈통이라고합니다 그래서, 이것은 전체의 매우 중요한 부분입니다 이제 무슨 일이 일어나고 있는지 알게되면 B 블록 네 B 한 블록으로 인해 생성 된이 B 블록 5 개 B 2 블록 및 B 6 블록으로 인해 생성되었습니다 B 블록으로 생성됩니다

또 다른 용어는, 나는이 F 필터 RDD가 생성되었다고 말할 수 있습니다 숫자 RDD 덕택에 번호는 또한 RDD가 아니라 그 번호에서 RDD 나는 새로운 엔티티를 만들 것이다 하나의 RDD 필터로서,이 F는 변환 단계 그러나이 단계를 변형 단계라고 부릅니다 이제 출력물을 출력하고 있습니다 우리는 메모리에 데이터 만 보관하고 있습니다

Java에서는이 print 문을 사용했습니다 Spark에서는 print 서술문이 없지만 대신 우리가 수집 진술서를 가지고 있다는 것, B 4, B 5, B 6을 인쇄하려면 즉, 필터 하나의 RDD를 인쇄하고 싶습니다 내가 filter1collect 쓸 수 있습니다, 그러면 SC에 B 4, B 5, B 6이 인쇄됩니다 지금 당신이 여기서하고있는이 일은 이것은 당신이 무엇을하고 있는지를 언제나 고민하고 있습니다

출력 B를 Word 작업으로 인쇄합니다 따라서 현장 컨텍스트에서이 단계를 S 동작이라고합니다 그래서 이것이 당신이 그 일을하는 방법입니다 주요 단계 1은 변형이다 한 형식의 RDD를 다른 형식으로 변환 할 수있는 곳 RDD의 두 번째 작업을 Action이라고합니다

여기서 출력물을 인쇄 할 수 있습니다 그래서 이것들은 명심해야 할 중요한 포인트입니다 아파치 스파크에서 일하면서 저희 사이트로 돌아가서 이것에 대한 질문을 드리겠습니다 내가 다시 돌아 오기 전에 나는 다시 그걸로 돌아올 수있다

모두가이 단계에 대해 명확하게 설명합니다 돌아 가자 여기서 알아 차리면 우리가 배치 (batch)와 같은 것을 논의 할 것이다 실시간 처리에서 더 나아가, 이것이 어떻게 이루어 졌는지, 그래서 지금 막 토론했다

스파크에 대해, 스파크가 실시간 처리를 제공하고, 그래서 기본적으로 합의 된 창조는 변형과 함께 시작됩니다 네, 그렇습니다 우리가 방금 토론 한 부분이다 또한 사용하기가 매우 쉽다는 것을 알 수 있습니까? 내 MapReduce와 비교하여 사용하기가 매우 쉽습니다 MapReduce 프로그래밍을 이미 완료했다면 또는 사과, 오렌지, 바나나 예를 기억한다면, 확실히 나의 고뇌 방법은 비교에서 훨씬 간단하다

MapReduce 코드가 표시되면 MapReduce 프로그램에 본질적으로 복잡하지만 스파크 프로그램 매우 간단하게 보입니다 Spark 프로그램이 수행하는 이유 아주 단순한 자연 이제 더 나아가 스파크 성공 사례를 이해하고, 우리가 가진 것들은 무엇입니까? 요즘 그것을 사용하는 사람들이 많이 있습니다 우리가 주식 시장에 대해 이야기하는 것처럼, 주식 시장은 아파치 스파크를 많이 사용하기 때문에 더 빠른 처리 능력, 더 쉬운 특성 플러스 가능한 많은 것들 (말도 안되는 소리) Twitter 감정 분석이 인기 급상승일지도 모릅니다 그 회사에 따라 일어난 일입니다

어쩌면 시작 할지도 모르겠다 그걸 기반으로 일부 캠페인을하고, 은행 신용 카드 사기 공제 이미 신용 카드 예를 보여주었습니다 어떤 사기가 감지되고 있다고 가정합시다 어쩌면 그들은 이것이 소리가 나지 않을 것으로 예상하고있을 것입니다 진정한 관계처럼 우리는 패키지와 함께 배울 수 있습니다

하지만 MapReduce는 불가능합니다 실시간 처리를 수행 할 수도 없습니다 둘째, 과거 데이터에 적용하려고해도 그것은 그곳에서 도전이 느려질 것입니다 의료 영역에서도 우리는 아파치를 적용합니다 그래서 이들은 Apache Spark가 사용되는 영역입니다

Spark에 대해 이미 말하면서, 우리는 이미 논의했습니다 재미있는게 뭐니? 지금 스파크에서 오직 실시간 처리와 모든 것을 보았고, 지금은 아파치 스파크는 사용할 수있는 오픈 소스 클러스터입니다 물론 당신은 지불하지 않을 수도 있습니다 그 일을하기 위해서, 그것은 또한 아파치 스파크가 유명한 이유 실시간 처리 배치를 수행 할 수 있으며, 처리의 모든 종류의 처리 종류, 당신은 그것에 수행 할 수 있습니다 프로그래밍 팩을 수행 할 수 있습니다 또는 데이터 패럴 림이 있으면 내결함성도 처리 할 수 ​​있습니다 우리는 이미 탄력적 인 부분의 결과를 보았습니다

해양은 내결함성이 있다고 믿을만합니다 그래, 이제는 여러 번 MapReduce 위에 출력으로 얻을 수있는 것 생성 직후 연결 기능을 사용하면 과거는 이미 인쇄 될 것입니다 원래 일종의, 사실 내가 할 것입니다 실제적인 실행과 보여주기 그 후 한 가지 예를 들자 여기 남아서 정확히 무엇을 할 수 있는지 어떻게 완료 될지, 어떻게 데이터를로드 할 수 있는지 그리고 데이터를 내부에서 볼 수있는 방법

몇 분 안에 실용적인 것을 보여 드리겠습니다 좋아, 이제 더 멀리 나아가 자 아파치 스파크, 이제는 내게 아주 쉽다 우리가이 모든 것을 설명하기 위해 이미 본 것으로 Spark은 항상 Hadoop과 함께 사용합니다 독립형으로 사용할 수 있습니다

예, 사실입니다 독립 실행 형을 사용할 수도 있습니다 Hadoop 클러스터가 필요 없으며 간단하게 심지어 스파크 물건 만들기 자신의 간단한 Windows 컴퓨터 및 작업을 시작할 수 있습니다 그것에 다른 것을 요구하지 않고, 당신은 로컬 및 상대방이 재미있는 파일이었습니다 HDFSS를 전혀 요구하지 않아도됩니다

나는 그것의 한 가지 예를 보여 주겠다 그래서 당신은 우리가 어떻게 독립형인지 분명히 알게 될 것입니다 내가 아파치 스파크를 사용할 수 있다는 것을 제외하고는, 나는하지 않는다 RDMS를 연결해도 재미있는 사실입니다 당신이 직접 만들 수있는 많은 장점들이 있습니다

스파크가 거의 100 배 빠른 속도를 제공합니다 너는 그것이 굉장한 속도라고 생각하지 않느냐? 100 배, 나는 이중 또는 삼중에 대해 말하는 것이 아닙니다 같은, 나는 약 100x 시간 더 빨리 말하고있다 스파크가 아주 강력 해지면 많은 기업들이 많은 것을 듣고 있습니다 맵 수신기에서 아파치 스파크로, 왜? 네가 네 답을 얻었 으면 좋겠어

간단 해 뿐만 아니라 당신의 속도가 너무 빨라지고 있습니다 처리 속도가 매우 빠르기 때문에 캐싱이 매우 강력합니다 이 끈기 또는 진짜가 아닌 것은 무엇입니까? 진행 세션 및 데이터 세부 사항 하지만 우리는 메모리에 데이터를 캐시 할 수 있습니다 또한 대부분의 경우에 도움이됩니다

애플리케이션을 배포 할 수 있습니다 원본 YARN 또는 독립 실행 형 클러스터 이제이 이벤트는 아주 좋은 기능입니다 이미 Hadoop을 구성했으며 특정 클러스터를 변경할 필요가 없습니다 아파치 스파크, 핑 플러스 당신이 그것을 사용할 수 있습니다 MapReduce에 무엇을 사용하고 있는지 귀하의 아파치 스파크 유사하게, Spark는 다중, 파이썬 추가와 같은 프로그래밍 언어

(말도 안되는 소리) 그래서, 자바 언어도 많이 사용할 수 있습니다, 그래서이 4 가지 언어가 현재 사용됩니다 둘 다 똑같습니다 둘 다 정확하게 섹션입니다 이제 더 나아가서, 아파치를 통해 스파크, 그래서 우리가 어떻게 그 모든 것을 할 수 있는지 보자

이제 HDFS로 불꽃을 일으켜 더 강력하게 만듭니다 Spark 응용 프로그램을 실행할 수 있기 때문에 매우 쉽게 HDFS의 위에 이제 두 번째로 Spark plus MapReduce 프로그래밍 MapReduce 프로그래밍과 함께 Spark를 사용할 수 있습니다 Hadoop 클러스터에 있기 때문에 실행할 수 있습니다 MapReducee 및 동일한 클러스터의 일부 응용 프로그램 당신은 일반 스파크 응용 프로그램을 사용할 수 있습니다, 필요가 없습니다 모든 것을 바꿀 수 있습니다

당신이 필요로하는 강력한 것들 Spark에 대해 별도의 클러스터를 만들지 않습니다 클러스터를 분리하거나 대량 생산할 수 있습니다 마찬가지로, 만약 당신이 이미 완료 되었으면 Apache Spark에 사용할 수 있습니다 보통 이것은 매우 강력합니다 MapReduce에 대한 이전의 모든 응용 프로그램이 배포되었습니다

YARN에서 Spark하고 그 다리를 가라 MapReduce에서 마이그레이션하려는 기업 아파치에게 그들에게 불꽃을 불어 넣어 삶을 만들고있다 당신이 직접 이야기 할 수 있기 때문에 매우 쉽습니다 클러스터 관리자를 변경할 필요가 없습니다 당신은 직접 작업을 시작할 수 있습니다

원사가 무엇인지 모르는 사람들을 위해 그것에 대해 간단하게, 이것은 클러스터 리소스 관리자입니다, 더 많은 것을 보자 이제 스파크는 어떻게됩니까? Hadoop을 사용하면 그건 스파크가 대체 할 의도가 아니었기 때문이야 하둡, 실제로이 사실을 명심하십시오 Hadoop 프레임 워크의 확장입니다 사람들은이 혼란을 많이 말합니다

우리는 하둡을 대체 할 것입니다 그들은 대체 할 수 없습니다 아직도 모든 것을 고갈시키고있다 당신은 HDFS를 사용하고 있습니다, 당신은 원사를 사용하고 있습니다 그러나 당신이 변화하고있는 처리 스타일 그래서 Spark은 Hadoop을 대체하지 않을 것이며, 사실 확장 기능이라고 부를 수 있습니다 두 번째로 Hadoop 프레임 워크의 MapReduce로 Spark에 대해 이야기 할 때, 이제 그들은 함께 일할 수도 있고 때로는 함께 일할 수도 있습니다

그들은 새로운 응용 프로그램이 아니며 지금은 아닙니다 매우 드문 응용 프로그램이지만 응용 프로그램이있을 수 있습니다 그들이 다시 나누기 위해 쓰는 코드의 일부가 있습니다 MapReduce로 작성한 코드의 일부 이 모든 것이 가능합니다 MapReduce가 필요없는 코드 변환 회사 아파치에게 그들은 시간이 필요할 것 같은데 그들에게 정말로 중요한 발의 그들은 Apache Spark와 관련하여 처리를 시작할 수 있습니다

지도의 나머지 부분은 그대로 그대로 둘 수 있습니다 그러니 천천히 계속 변환 할 수 있습니다 그들은 또한 함께 일할 수 있기 때문에, 그래서 만약 당신이 혼자 스파클을 제공하지 않습니다 어떤 분배 된 그들에 의해 확실히 걸음 나는 의미한다 이미 독립형으로 사용하고 있기 때문에 데이터로 사용하지 않는 경우 그 경우에 확실히 당신은 해방되지 않습니다 Apacaha Spark가 단일 프로세스로 만듭니다 이제 더 나아가 중요한 기능은 무엇입니까? 아파치에서 스파크, 확실히 속도, 다각형, 다각형은 사용할 수있는 여러 언어를 의미합니다

칼라, 파이썬, 자바, 많은 언어들이다 많은 분석을 수행 할 수 있습니다 메모리 계산에서 우리가 실행 중일 때 메모리의 모든 것을 인 메모리 계산이라고합니다 Hadoop을 통합 할 수 있습니다 기계 학습을 적용하면 매우 강력한 아파치, 그것은 매우 강력합니다 Hadoop이 분명히 사용하지 않거나 이렇게합니다

지금도 우리는 마스트 아웃을 가지고 있습니다 대량 학살에 대해 듣지 못했지만 모두들 바란다 가지고 있어야하고, 그렇지 않다면 나는 단지 당신을 설명하게한다 massout은 MapReduce 프로그래밍 프레임 워크입니다 귀하의 기계 학습 알고리즘을 작성하는 데 사용됩니다 그래서 Mahal에서 기계 학습 알고리즘을 작성할 수 있습니다

지금 MapReduce는 문제를 변환하는 데 어려움을 겪고 있습니다 MapReduce에서 지불하고 당신은 내려하지만 이제 MapReduce 자체가 더 느립니다 기계 학습 알고리즘은 매우 이 때문에 자연적으로 수분이 풍부하다 당신의 처형은 마할에서 매우 느릴 것입니다 기계 학습 알고리즘이 이미 더 느리기 때문에 사실 MapReduce 프로그래밍은 본질적으로 느리다

그 마하오 때문에 이제 가끔 비워 졌어 출력물을달라고 요청했는데, 나는 말하고 있지 않다 약간의 시간도 실행하기까지 작은 데이터 세트라면 시간이 많이 걸릴 수도 있습니다 이제 이것은 마호를 가진 중요한 문제입니다, 스파크가 무엇을 생각해 내는지 알아라 SMLA라는 매우 유명한 프레임 워크, Spark MLA, 그는 마호를 대신합니다

이제 MNLA에서 모든 처리가 이루어질 것입니다 기억하기 때문에 대화를 알게 될 것입니다 수분 공급조차도 무슨 일이 일어나고 있는지 기억 속에서 이렇게 될 것입니다 매우 빠른 것, 지금 이것 때문에 MapReduced 프로그래밍이 어떻게되었는지 마할이 사용했던 사람들은 그것을 사용을 중단했습니다 이제 그들이 멈추는이 부분에서 어떤 일이 일어 났습니까? 실제로이 핵심 도구를 사용하여 핵심 개발자 이 마할의 MLA라고하는 단어에 말을 걸어도 지금 마할의 핵심 개발자, 그들 자신 네가 원하면 기계 학습 진행을보다 잘 실행 Spark 프레임 워크에서만 사용할 수 있습니다

실행보다는 Spark MLA를 사용하여 실행 하둡에서, 그게 이유 야 빅 데이터에 대한 기계 학습 알고리즘 모두가 스파크 MLA로 이동하고 있습니다 이 모든 부분을 자세히 살펴 보겠습니다 우리가 스페이스 바 싸움에서 지금 이야기 할 때 이 기능에 대해 논의하겠습니다 스파크는 100 배 빠른 속도로 작동 할 수 있습니다

왜 우리가 이미 알고 있는지 우리는 이미 스피드 네트워크를 가지고 있습니다, 지금 우리가 말할 때 우리는 방금 작성한 다각형에 대해 그리고 마루 자바와 하이브의 규모 그래서, 많은 언어가 지원되고 있습니다 이제 다음 스파크가 중요합니다 게으른 평가, 내가 너를 다시 데려다 줄거야 내 PPT에, 그래서이 경우, 지금은 무엇 실제로 어떻게됩니까?이 실행은 어떻게 여기에서 발생합니까? 그래서, 우선 여기서 일어나는 일은 이 산을 치 자마자 그렇게 좋아지지 않아 또는 섬유가 메모리를 넘어 즉시이를로드합니다 그것은 실제로 그렇게하지 않습니다

이 선을 치면 즉시 이 B 블록은 처음에는 비어있을 것이다 어떤 데이터도 보관하지 않을 것입니다 그러면 어떤 일이 일어날 것입니까? 지금이 숫자를 생성했습니다 다시 B 블록을 생성하고, B 블록을 생성합니다 및 B 6 개의 구획 그러나 그들 모두는 비게 될 것이다, 내부에 데이터가 없지만 filter1

collect를 변경하자마자, 지금 당신이 얻 자마자 무슨 일이 일어나는가? 이 filter1collect는 당신의 F 1에 갈 것입니다 B 4가 아닌 필터 하나를 의미하며, B 5, B 6, 그들은 그것을 말할 것입니다 귀하의 데이터를 인쇄하고 싶습니다 지금 어떻게 될 것입니까? 하나를 필터링하면 데이터가 없다고 말합니다

나는 현재 비어 있습니다, 지금 필터 하나가 갈 것입니다 요청 번호 RDD로 데이터를 제공합니다 이제이 B 하나, B 두, B 세 그들은 지금도 비어 있습니다하지만 그들은 또한 말할 것입니다 나는 비어 있습니다

Ftxt, Ftxt로 갈 것입니다 데이터를 num, num이 데이터를로드하여 하나를 필터링합니다 이 필터는 출력을 제공합니다

그래서이 것을 게으른 평가라고합니다 그 때까지는 행동을 취하지 않을 것임을 의미합니다 인쇄하지 않으면 사전에 실행하지 않습니다 그래서 모든 실행은 그 시간에 시작됩니다 네가 올 때 행동하고 행동하면 큰 프로그래밍 배경에서 그 시간까지 이미이 기능을 보았습니다

당신은 바보 진술을하지 않고 실행하지 않습니다 사전에있는 것, 이제이 부분을 Lazy Evaluation이라고합니다 우리가 원하지 않기 때문에 왜 게으른 평가입니까? 불필요하지만 중요한 때까지 기억 그때 우리는 출력 수단을 인쇄하지 않습니다 우리가 뭔가를 표시하고 싶지 않을 때 그들은 어떤 기관도하지 않을 것이며, 데이터가 메모리에 남지 않아야합니다 불필요하게, 이것을 Lazy Evaluation이라고 부릅니다

여기에서이 부분에 대해서는 Lazy Evaluation이라고합니다 이제 슬라이드로 돌아가 보겠습니다 이제이 부분을보세요 게으른 평가 속성, 이제는 실시간 컴퓨팅 데이터가 올 때와 같이 실시간으로 좋아 당신은 즉시 메모리에있는 물건을 교차 시작할 수 있습니다

그것은 이것이 우리가 가지고있는 네 번째 속성이라고 말했다 이미 볼 수있는 다섯 번째 속성 시작 이 DFS를 사용하면 MapReduce로 작업을 시작할 수 있습니다 우리가 논의한 것과 똑같은 일을 할 수 있습니다 사물처럼 기계 학습을 수행하십시오 그게 이것에 관한 부분입니다

이것이 귀하의 기계 학습을 적용하는 방법입니다 이것들은 스파크의 주요 특징입니다 이제 잠시 쉬고 나서 이야기 할 것입니다 생태계에 대한 세부적인 주제이기 때문에 거기서 나는 좋은 시간을 보낼 필요가있다 그래서 잠시 쉬자

그리고 나서 우리가 시작할 것이고, 그곳에서 휴식을 취한 후에 이야기 할 화제가 많이 남아 있습니다 우리는 또한 실천하고 따라갈 것입니다 결국 프로젝트를 통해 우리는 어떤 종류의 프로젝트를 할 것인가? 다음 학기를 시작할 것입니다 아파치 스파크 (Apache Spark)에 관한 이야기입니다 그러니 10 분 정도 휴식을 취한 다음 다시 돌아 가자

4시 30 분 친구들, 그럼 우리가 시작할거야 생태계와 실용에 대해 매우 중요합니다 그러니 제발, 그러니 4:30까지 돌아 오세요 그래서 모두들 다시 확인할 수 있습니다 모두들 나를 뒤통수 쳐 소리 쳐서 소리 지른다

그래서 더 멀리 나아가 자, 이제 스파크는 예를 들어 RDD 생성과 같은 작업 스파크 코어의 일부인 스파크 코어 모든 라이브러리의 주요 엔진입니다 예를 들어 스파크 시퀀스가 ​​있습니다 당신이 할 수있는 일, 당신은 쿼리를 작성할 수 있습니다 SQL 프로그래밍 방식과 온톨로지에서 당신의 길을 존중하여 회심을 얻으십시오 이것은 계산이 세계에서 일어날 것임을 의미합니다

두 번째로 빠른 심사입니다 그것 때문에 주요 구성 요소 우리가 수행 할 수있는 가능성이있었습니다, 실시간 처리가 가능하므로 스폿 스트리밍이 도움이됩니다 당신은 실시간 처리를 수행 할 수 있습니다 SparkMLib 왜냐하면 기계는 logarithim을 배우기 때문에 내가 토론 할 때이 부분에 대해 방금 토론했습니다 마호에 대해서, SparkMlib은 대체로 대체품입니다

왜냐하면 여기서 알고리즘은 YARN Hadoop에서 우리를 데려 갔다 SparkMLib에서 단 몇 초 만에 수의 토지가 크게 개선되었다 사람들이 그 다섯 graphX로 이동하는 이유 클래스 계산을 수행 할 수있는 곳 인쇄 추천을 연결할 수 있습니다 그래서 페이스 북의 친구가 그것을 생성, 내부 그래프 및 제공합니다 그래프 종류의 계산은 graphX를 사용하여 수행됩니다

Sparks R 이것은 새로 개발 된 회원입니다 그들은 여전히 ​​그것에 대해 노력하고 있습니다 이 버전 중 R은 분석가들이 사용하는 오픈 소스 언어 이제 스파크가 가져온 것 스파크에 대한 모든 애널리스트들은 간단합니다 그들은 이것을 다시 가져 와서 열심히 노력하고 있습니다

주식은 이미 그것을 만들었고, 이것은 가고있다 시장에서 차세대 제품이 될 것입니다 이제이 생태계가 어떻게 생겼는지, 그래서 예를 들어 여러 가지가있을 것입니다 우리가 스파크 시퀀스에 대해 이야기 할 때 가장 모든 계산이 존경심으로 일어나는 시대 RDD에 있지만 Spark에서와 마찬가지로 그는 SQL이라고하는 뭔가가 데이터 프레임이되었습니다 매우 유사한 명확한 RDD 그러나 유일한 차이 앉아있을 데이터가 본문에 표 형식으로 표시됩니다

지금이 경우에는 당신이 그것을 지키고있는 데이터 기능별로 열이 또한있을 것입니다 행 정보를 사용하면 열 정보도 갖게됩니다 그것이 우리가 RDD라고 부르지 않는 이유입니다 실제로 우리는 이것을 상위 3 위라고 부릅니다 마찬가지로, 기계 학습에서도 우리는 뭔가를 만드는 데 도움이되는 ml 파이프 라인이라고하는 것 여러 알고리즘을 결합하는 것이 더 쉽습니다

그래서 당신 ML 파이프 라인이 MLM의 관점에서 무엇을 할 것입니다 이제 스파크 코어에 대해 이야기 해 봅시다 스파크 코어 우리는 이미 거주하고있는 모든 데이터를 논의했습니다 신체에서 우리는 그 데이터를 RDD 이것이 당신의 스파크 코어 구성 요소에 대한 전부입니다 당신이 걸을 수있는 곳 대규모 병렬 시스템에서 모든 데이터가 마침내 다시 배포됩니다

그래서 모든 계산 또한 단호하게 일어날 것입니다 그래서 이것은 당신의 스파크 코어 구성 요소에 관한 것입니다 우리가 스파크의 건축에 ​​대해 이야기 할 때, 이제 이것을 당신의 이름 노드와 관련시킬 수 있습니다 귀하의 용 프로그램이 어떤 전화에 참석하는지 마스터 머신이므로 마스터 머신 비디오의 Spark 컨텍스트와 비슷한 작업자 노드 theta 노드라고 불리며, 그래서 우리는 주식을 표시한다 이 데이터 노드는 깨진 ​​노드로 네가 지킬 수있는 기억이 되라

우리가 세금 집행자라고 부른 기억의 그 공간 보시다시피 여기에 두 개의 데이터 노드가 있습니다 우리가 수행하고있는 명령에 대한 작업 당신이 지킬 RAM의 공간 모든 블록은 실행 프로그램으로 호출됩니다 이제 예를 들어 거주하고있는 블록들 당신은 도트 맵 로직을 사용하여 또는 10 미만의 값, 이제는 논리 RDD에서 실행중인 코드 작업이라고하기 때문에 작업이라고합니다 지금 거기 중간에 가게 매니저는 YARN과 같습니다 또는 무엇이든 지키고 싶은 YARN 부인 그것은 중간 물건이 될 것입니다

이 사이클 경로 컨텍스트로 이동합니다 그 다음에 YARN이 처형에 상처를 입을 것입니다 그러면 코드가 실행될 내부 실행 어디에서 작업을 수행 할 것인지, 또한 원하는 경우 데이터를 캐시하고, 데이터를 캐시하거나 처리 할 수 ​​있습니다 이제 Spark Streaming에 대해 이야기 해 보겠습니다 우리가 이미 토론 한 스파크 스트리밍 당신이 가진 좋은 시간부터 실시간 종류 사용할 수있는 처리 방법은 무엇입니까? 여기에 데이터를 가져 오는 즉시됩니다

데이터를 데이터로 분할하고, 작은 작은 데이터 만 있으면 바로 사용할 수 있습니다 완료된 메모리에서 처리합니다 Spark Screaming의 도움으로 그리고 당신이 만들고있는 마이크로 백업 데이터 Dstream이라고도합니다 이제 우리는 매우 높은 수준에서 이야기하고 있습니다 우리가 단지 너에게주고 싶어서 일들이 어떻게 작동하는지에 대한 아이디어지만 우리가 갈 때 방송국에서이 모든 것들이 스트림에 있습니다

확실히 2 년 반에서 3 년 만에 우리가 모든 것을 다 다루는 것은 불가능합니다 하지만 모든 주제에 대한 개요가 될 것입니다 내가 너에게주는 것은, 뒤로가는 것과 같다 스파크가 일반적으로 무엇인지, 예 스파크 엔진이 당신을 돕고 있습니다

스파크 또는 당신의 물건을 당신의 것으로 바꾼다 데이터 처리를 돕고, 이것이 스파크 처리의 역할입니다 이제 Spark 스트리밍에 관해 이야기 할 때도 마찬가지입니다 지금 당신에 대해 이야기하는 것처럼 스트리밍으로 스파크를 얻을 수 있습니다 실시간 데이터는 다음과 같습니다

당신은 벗어날 수 있습니다, 그것은 여러 소스에 대한 수 있습니다 당신은 카프카를 사용할 수 있습니다, 당신은 그것을 당길 수있는 Hbase를 사용할 수 있습니다 패킷 형식에서 어떤 종류의 데이터까지 실시간으로 데이터를 Spark 시스템에 가져옵니다 그 후에는 아무것도 적용 할 수 없으며, 당신은 스파크 SQL을 적용 할 수 있습니다 의미, 당신은 실행할 수 있습니다 그것 위에 당신의 SQL, 당신은 실행할 수 있습니다 귀하의 컴퓨터가 코드를 실행하고, 당신은 그것의 위에 간단한 RDD 코드를 적용 할 수 있습니다 무엇이든 출력에 다시 저장할 수 있습니다

Hps에서 SQL kafka 마지막 비트 검색 네가하고 싶은 것은 무엇이든 주 예, 언제 데이터가 실시간으로 여기에 남습니다 즉시 같은 크로스를 시작합니다 따라서 다른 라이브러리에서도 데이터를 가져올 수 있습니다 즉시 행동을 시작할 수 있습니다 이제 이것은 여러분이 할 수있는 것과 같은 예제입니다

카프카, HDFS / S3에서 데이터를 가져와 주식을 스트리밍으로 가져 오는 모든 출처에서 그런 다음 HDFS 또는 데이터베이스에 저장하거나 어디서나 UI 대시 보드 비슷한 것들이 당신이 좋아할 것입니다 변환 할 입력 데이터 스트림 작은 전화 데이터의 일괄 처리 및 그 다음 자체의 일괄 처리 당신은 모든 것을 출력 할 것입니다, 그래서 무슨 일이 일어나고 있니? 당신이 만들고있는 데이터의 실천 그래서 나는 작은 것들을 작은 RDD라고 부를 수 있습니다 내가 뭘 만들고있어, 그게 이유 야 여기에 표시되므로 깊은 느낌을 얻고 있습니다

데이터 일괄 처리를위한 작게, 아마도 이것은 활동입니다 짧은 시간 동안 생성 될 것입니다 이제는 모든 결과가 주어집니다 그래서 이것은 매우 높은 수준의 그림입니다 스트리밍 경로가 어떻게 작동 할 것인가

Spark SQL과 유사하게 매우 강력합니다 그것은 당신에게 매우 빨리 결과물을 줄 수 있기 때문에 Spark이있는 SQL을 가지고 있다면 실행할 수 있습니다 스파크 SQL이라고합니다 이제 Spark SQL은 구조화 된 데이터를 처리 할 수 ​​있습니다 세미 구조화 된 데이터는 처리 할 수 ​​없습니다

어쨌든 당신의 비정형 데이터 우리는 SQL 쿼리를 수행하므로 이해가됩니다 그것은 반 구조화 및 구조화 된 데이터는 구조화되지 않은 데이터가 아닙니다 스트리밍 데이터 구조에서 그것은 구조화 될 것이다 그것은 구조화 된 데이터가 될 것이지만 이것은 될 것입니다 구조화 된 데이터로 다양한 형식 지원 당신은 같은 여러 형식에서 데이터를 가져올 수 있습니다, 마루, 제이슨, 어쨌든 하이브는 모든 검색어와 비슷합니다

다른 일을 할 수있는 것은 신념입니다 누가 그렇게 할 수 있는지, 데이터 프레임을 사용할 수 있는지 RDD로도 셔플 할 수 있습니다 Spark SQL에서 모든 일이 가능합니다 당신의 하이브와 비교하면 성능 이게 빨간색 표시라면 자기 시스템에서 매우 높습니다 다른 하나는 Hadoop 시스템입니다

당신이 쉽게 우리가 복용하고 있음을 볼 수 있습니다 Hadoop 시스템과 비교할 때 시간이 훨씬 적습니다 하지만 이것이이 Spark QSL을 사용할 때 가장 큰 이점입니다 이제 Java 드라이버 인 JDBC Java를 사용합니다 또는 Oracle 드라이버 인 ODBC 드라이버 연결 만들기를위한 연결 사용자 정의 함수를 만들 수도 있습니다 하이브 (Hive)에서와 마찬가지로, 스파크에서도 그렇게 해

이미 사전 작성된 API가있는 경우 당신이 만든 크리에이터가 없다면 그것을 사용할 수 있습니다 UDF를 모르는 경우 실행할 수 있습니다 매체 개념의 높은 발생률뿐만 아니라 높이가 일반적인 개념이다 자신 만의 함수를 만들 수 있습니다 쓸 수 있습니다

자신의 Java PUD를 함수로 사용할 수 있습니다 귀하의 후속 또는 유형의 귀하의 UDF를 다시, 그래서 이것은 귀하의 스파크 SQL을가는 방법입니다 이제 일반적으로 워크 플로가 정확합니까? 당신은 어디서부터 데이터 소스를 가지게 될 것인가? 데이터를 가져올 것입니다, 당신은 변환됩니다 데이트 API에, 데이터 API는 단지 유사한 것을 의미합니다 RDD로 보내지 만 표 형식이어야합니다 그래서 열 정보뿐만 아니라 행을 가질 것입니다

이제 이름 열을 갖게 될 것입니다 너는 개 심자를 해석 할 것이다 그것은 계산을하는 통로에 Spark SQL 서비스가 실행 중입니다 결국 당신은 제공하려고 노력할 것입니다 그래서 이것은 높은 수준의 그림입니다

SQL 투표를 통과하는 방법에 대해 설명합니다 이제 Mllib에 대해 이야기 해 봅시다 기계 학습 라이브러리는 두 종류가 있습니다 하나는 alogarithm이고, 초는 감독되지 않은 대수입니다 무 감독 알고리즘 당신은 이미 출력을 알고있다 당신은 이미 그 부분을 알고 있습니다

당신은 뭔가 새로운 것을 예측하고 있습니다 너는 아무것도 모르는 학습을 제공한다 데이터에 대해 이전 날짜 출력 및 원하는 결과 그것으로부터의 결과물, 이것은 감독되지 않은 학습입니다 따라서 Mllib은 우수한 평점을 처리 할 수 ​​있습니다 현재 감독하에 있습니다

우리는 분류, 회귀, 마찬가지로 우리는 클러스터링, SVD 모든 것은 감독되지 않은 사람들도 이용할 수 있습니다 패키지에 포함 된 내용은 여기에 적습니다 단지 실패를 만듭니다 입자의 한계가 있습니까? 아니, 그런 제한이 없어 새미, 알았어 사용할 수있는 모든 것을 실행할 수 있습니다

사실 make라는 이름이 있습니다 당신의 Spark Context는 또한 당신에게 높은 맥락을 가지고 있습니다 이제 상위 쿼리를 실행하려면 파이프 컨텍스트의 도움으로 무엇을 할 수 있습니다 그러한 제한이 없으므로 여전히 코드 높이 쓰기 직접 실행할 수 있습니다 이제 더 나아가 우리가 가진 기술은 무엇입니까? Sparks SQL의 다양한 데이터 소스는 무엇입니까? 그래서 우리는 이미 같은 것을 논의했습니다

우리는 파 켈 (Parquel), 제이슨 (Jason) 내가 너에게 다시 보여주기 위해 돌아 가자 당신은 CSV, 데이터베이스에서 HBase, 오라클, DB, 내 SQL 패키지 및 모든 이것들은 여러분의 데이터입니다 그래서 모든 데이터 소스에서 가져올 수 있습니다 데이터 소스가 너무 많아서 더 이상 사용할 수 있습니까? 아니오, 분류에서 일반적으로 어떤 일이 발생합니까? 예를 들어 주기만하면됩니다

스팸 전자 메일 상자 란 무엇입니까? 나는 스파 킹을 봤어 Gmail의 스팸 이메일 상자에서 이제 새로운 이메일이 나옵니다 Google이 스팸 전자 메일인지 여부를 결정하는 방법 또는 스팸이 아닌 이메일을 분류의 예에는 3을 더한 것입니다 Google 뉴스에서 볼 수 있다고 가정 해 봅시다 당신이 무언가를 타이핑 할 때처럼 모든 뉴스를 모아서 클러스터링이라고합니다

회귀, 회귀는 또한 매우 중요한 사실, 그것은 여기에 없습니다, 회귀가 없다 집이 있다고 말할 수있다 너는 그 집과 너를 팔고 싶다 최적의 가격이 무엇인지 전혀 모른다 집을 임대해야합니다

이제이 회귀가 당신을 달성하는 데 도움이 될 것입니다 네가 본 협업 벤틀리 아마존 뒷 페이지로 이동하면 그들은 당신에게 추천을 보여줍니다, 당신은 이것을 살 수 있습니다 당신이 거기에서 사기 때문에 이것은 끝났습니다 협업 필터링의 도움을받습니다 따라서이 알고리즘은 추천 팩 graphX graphX에서 다시 한 번 중요한 자신감 당신은 모든 문제를 적용 할 수 있습니다, graphX에서 모든 문제를 해결할 수 있습니다

이제 우리에게는 가장자리가있는 여러 가지가 있습니다 관계를 나타냅니다 이제 이걸 다시 볼 수 있습니까? Bob, Carol 이것들은 어디에서 나옵니다 당신은 잎이라고 부를 수 있습니다 이제는 커넥터입니다

그 (것)들 사이에서 H로 불린다, 저것은 다만이다 여기에 화살표가 있으면 지금 여기에 표시됩니다 우리가 본 것처럼 직접 그래프라고 불리는 계보에서도 뭔가 그래서 당신의 유향 그래프입니다 이제 사용 사례는 무엇입니까? 몇 가지 예를 살펴 보겠습니다 이제 여러분 모두는이 Google지도를 보았을 것입니다 구글 맵 당신이 그것을 테스트해야합니다, 이제 구글 맵 그리고 그 뒤쪽에있는 그래프 X 당신이하는 일은 당신이하지 않는 것을 적용 할 때입니다

실제로 한 부분 만 검색하면된다 여러 부품의 경우 최적의 진흙 경로를 보여줍니다 그것은이 시간보다 적거나 링크 거리 일 수 있습니다 지금 계산이 모두 무슨 일이 일어나고 있는지 구덩이 그 모든 것을 검사하는 그래프를 계산하는 것 모든 시간을 계산하는데 소요되는 시간이 줄어들 것입니다

그것은 graphX의 도움으로 끝난다 마찬가지로 보호 기능에 대한 많은 예제가 있습니다 이 graphX를 사용해 주셔서 감사합니다 그들이 본 트위터 또는 LinkedIn을 참조하십시오 친구 추천, 즉 모든 것이 끝날 수있다

그래서 모든 권장 사항은 그래프를 생성하고 그 모든 것을 기반으로 그들은 산출하고 당신에게 산출을 준다, 그래서 거기 또한 graphX ​​실행이므로 graphX는 우리와 함께 사용할 수있는 매우 강력한 대수입니다 이제 프로젝트로 이동하기 전에 너에게 실제적인 부분을 보여주고 싶다 우리가 스파크 것들을 어떻게 수행 할 것인가 VM 머신으로 데려다 드리겠습니다 감독이 제공 할 것이므로이 기계의 감독이 제공하기 때문에 내가 어디에서 갈지 걱정하지 마라

소프트웨어, 내가이 시점에서 무엇을 할 것인가? 그곳에서 모든 역할이 감독의 감독을 받는다 이제 일단 당신이이 곳에 오면 당신은 보게 될 것입니다 이런 기계는 나에게 이것을 시키자 그래서 무슨 일이 생기면 이처럼 빈 머신이 보일 것입니다 이걸 보여 드리죠

하지만이게 당신 기계예요 당신은 무엇을 하려는지 지금처럼 보일 것입니다 일하기 시작하면 이 검은 색 옵션을 클릭하여이 영구 보존 물 그 후에 당신이 할 수있는 일은 당신이 할 수있는 일입니다 이제 너의 스파크에 가지마, 내가 어떻게 일할 수 있을까? 어떤 프로그램을 실행하기 위해 Spark와 함께 스칼라 프로그램을 사용하여 스파크에서 당신을 그것을로 입력됩니다 (말도 안되는 소리) 스파크주의를 입력하면 ELA Pro에 연락하여 경로 프로그램을 작성할 수 있습니다

그러나 ELA 프로그래밍 언어를 사용합니다 당신은 이것을 볼 수 있습니다, 이제 당신은 스파크를 볼 수 있습니까? 그것은 또한 나에게 한 포인트 5 포인트 두 버전을 제공하고 있습니다 스파크 버전입니다 이제 볼 수있는 여기를 볼 수 있습니다 이 부분 컨텍스트는 사용 가능한 상태로 제공됩니다 스파크 쉐이크에 연결되면 당신은 이것이 기본적으로 사용 가능하다는 것을 볼 수 있습니다

너에게,이 공격에 약간의 시간이 걸리게하라 이제 우리는 모두 연결되어 있으므로 연결되었습니다 이 스케일 무도회에, 지금 내가 원한다면 그것의 안에서 나는 단지 타입 출구를 부를 것이다, 그것은 단지 내가이 블록에서 나오게 할 것이다 이제 두 번째로 내 프로그램을 작성할 수 있습니다 내화물로, 내가 할 수있는 일 Spark에서 프로그래밍하고 싶다면 그러나 파이썬 프로그래밍 언어 나는 Spark box와 연결할 것이다

그래서 연결하기 위해서는 Spark를 입력하면됩니다 내 데이터로, 나는 지금 연결되지 않을거야 파이썬이 필요하지 않기 때문에 나는 지금 스칼라 모든 것을 설명 할 것이다 하지만 연결을 원한다면 입력 할 수 있습니다 현장에서 다시 내 스파크에 연결하자

그 동안이 연결되어지고있다 파일을 만들자 파일을 만들자 그래서 당신이 알아 차릴지라도 나는 아무것도 가지고 있지 않다 나는 이미 F

txt를 가지고 있으므로 cattxt라고 해봅시다 나는 1, 2, 3, 4, 5의 데이터를 가지고있다 이것은 나와 함께하는 나의 데이터입니다 나는이 파일을 밀어 붙이게 할거야

이미 선택했는지 확인하십시오 내 시스템에서는 DFS 시스템을 의미하는데, hadoop dfscatatxt 이미 사용 가능한지 빠르게 확인하기 만하면됩니다

좋아, 그런 파일이 없으니 내가 먼저 넣을 게 이 파일을 내 시스템에 보자 atxt 그래서 이것은 dfs의 기본 위치에 놓을 것입니다 지금 내가 그것을 읽고 싶다면 나는이 길을 볼 수있다

다시 한번 저는 여러분이 알고 있다고 가정합니다 이걸 최고의 점수로 생각하면 지금 볼 수 있습니다 이 하나, 둘, 셋, 넷, 다섯이오고있어 Hadoop 파일 시스템에서 이제 내가하고 싶은,이 파일을 사용하고 싶습니다

내 스파크 시스템에서 지금 어떻게 할 수 있니? 그래서 내가 여기 스칼라와 스칼라로 들어 가자 정수 float이없고 Java와는 다릅니다 당신이 integer와 같은 정의를 사용할 때 우리가 정의하는 데 사용하는 것과 같이 10과 같습니다 하지만 스칼라에서 우리는이 티커 테이프를 사용하지 않습니다 사실 우리가하는 일을 그래서 내가 10을 동등하게 사용하면, 자동으로 식별합니다

알 수없는 정수 값입니다 그것은 정수형이라고 말해 줄 것입니다 이제이 값을 20으로 업데이트하려면 나는 그것을 할 수있다, 내가 지금 갱신하고 싶은지 말하자 이런 식으로 ABC로 가면, 화살을 움직일거야 a는 이미 정수로 정의되어 있기 때문에 일부 ABC 문자열 유형을 지정하려고합니다

그래서 그것이 당신이이 화살을 가지고있는 이유입니다 비슷하게, Val이라는 또 하나의 것이 있습니다 발 B는 10과 같다면 할 수 있습니다 그것은 그것과 정확히 똑같이 작동 하나 하나 가지고있다 이 경우의 차이점은 B가 같으면 같음 ~ 20, 오류가 표시되며이 오류의 원인 왜냐하면 당신이 뭔가를 val로 정의 할 때 그것은 상수입니다

견딜 수 없을 것입니다 더 이상, 그것은 상수가 될 것입니다 뭔가를 val로 정의하면 그 이유가 있습니다 업데이트되지 않을 것입니다 해당 값을 업데이트 할 수 없습니다

그래서 이것은 당신이 할 줄 알았어요 귀하의 프로그램, 그래서 다시 가변 부분에 대한 당신의 일정한 가치를위한 발의 이제 너는 이렇게 될거야 이제 예제로 사용 해보자 우리가 배웠다면, 이제 내가 만들고 싶으면 자동차 번호 때문에 TV 번호 sc

textfile과 같습니다 이미 파일로 말한이 API를 기억하십시오 sctextfile 이제이 파일을 atxt로 보냅니다

내가이 파일을 atxt로 주면 스파크를 거의 보지 못했다 문자열 유형의 RDD를 만들었습니다 원하는 경우 지금 이 데이터를 읽으려면 numbercollect를 호출합니다

사용 가능한 값이 인쇄됩니다 너는 볼 수 있니? 여기에서 볼 수있는 것은 당신의 기억에서 나온 것입니다 이것은 읽고있는 메모리에서 나온 것입니다 그것이이 특별한 방식으로 나타나고있는 이유 그래서 이것은 당신이 당신의 단계를 수행하는 방법입니다

이제, 내가 말했던 두 번째 일은 스파크 독립 실행 형 시스템에서 걷는다 고 말하면서, 그래서 지금 무슨 일이 일어 났는지는 우리는이 부분을 우리 역사에서 실행했습니다 이제 로컬 파일 시스템에서이 작업을 실행하려면 그럴 수 있겠습니까? 그렇습니다 이 경우 그렇게하기 위해해야 ​​할 일 차이점이 여기에 올 것입니다 당신이 여기서주고있는 파일은 대신 너는 그렇게 함으로 너는 이 파일 키워드는 그 전과 후에 예를 들어 로컬 파일을 제공해야합니다 이 길은 무엇입니까 / 집 / 나는 그들이 오는가? 이 경로는 경로만큼 깊지 않은 로컬 경로입니다

그래서 / home / cat Eureka / atxt를 작성할 것입니다 자네가 이걸 주면 파일을 메모리에 저장하고 hdfs로는 저장하지 않는다 대신에 그걸로드 한 경우는 무엇입니까? 너의 하,이야, 그래서 그 차이가있다 그래서 두 번째 경우에서 볼 수있는 것처럼 나는 아닙니다

내 Hdfs를 사용하는 것조차도 무엇을 의미합니까? 이제 그들이 왜 이걸 설정했는지 말해 줄 수 있니? 입력 부분 옆에 존재하지 않기 때문에 여기에 오타를 입력했습니다 알았다면 이제 알겠습니다 왜 내가이 오류를 여기에서 얻지 못했을 까? 왜 내가 여기 다른 사람을 얻지 않았어? 이 파일은 존재하지 않지만 여전히 얻지 못했습니다 Lazy Evaluation으로 인한 오류 게으른 평가를 통해 잘못된 경로를 부여한 경우 다른 그것은 비어있는 거래를 만들었지 만 아무것도 실행되지 않았으므로 모든 출력 또는 장면에 오류가있을 수 있습니다 당신이 연결의 그 행동을 명중 할 때

이제는이 값을 수정하기 위해 필요합니다 이 에드카와 내가 연결하면이 시간을 연결한다 작동합니다이 출력을 볼 수 있습니다 하나 둘 셋 넷 다섯

이번에는 잘 작동하므로 지금해야합니다 평가를 같은 것으로 남겨 두는 것이 더 분명하다 잘못된 파일 이름을 지정하는 경우 문제가되지 않습니다 내가 생산 단위에서 스파크를 사용하고 싶다고 가정 해보자 하지만 Hadoop 위에는 가능하지 않습니다

그렇습니다 너는 그럴 수 없어, 너는 그거 할 수있어 미안해 하지만 대개 그건 네가하는 일이 아니라 네가하는 일이야 원한다면 할 수있는 일이 많습니다

당신은 아마존에 그것을 배치 할 수 있습니다 당신이 거기에서 할 수있는 많은 것을 클러스터하십시오 이 경우 분배를 어떻게 제공 할 것인가? 다른 배포 시스템을 사용할 것입니다 그래서이 경우 당신은이 팩을 사용하지 않습니다 당신은 그것을 배포 할 수 있습니다 가지가지 종류의 물건을 나누어 배포 할 수 없다

클러스터에서 당신은 해방되지 못했습니다 그 중복성은 아마존도 아마 뉴스 다 그것으로 충분하기 때문에 그렇게 할 수 있습니다 이걸 사용하면 이제 얻을 수 있습니다 그래서 이것은 당신이 당신의 길을 어떻게 수행 할 것인가입니다

내가이 길에서 너는 어떻게 일할 지 말하기 때문에 내가 너에게 말했듯이 너를 설명 할거야 그래서 이것이 어떻게 작동하는지입니다 이제 재미있는 사용 사례를 살펴 보겠습니다 그래서 우리 PPT로 돌아 가자 이것은 매우 흥미로울 것입니다

이 사용 사례를 보자 이 유스 케이스는 매우 흥미 롭습니다 스파크를 이용한 지진 감지 용 그래서 나는 이미 일본을 보았을지도 모른다라고 생각한다 이렇게 많은 지진이 올 수도 있습니다 그것에 대해 들었습니다

분명히 가질 수 있습니다 네가 들었음에 틀림 없다고 생각하지 않았다 일본에서 일어나는 돌연변이가 너무 많다는 것 예산 문제를 해결하는 방법 그래서 나는 너에게 엿볼 것을 줄 것이다 우리가 세션에서 어떤 종류의 문제를 해결했는지, 확실히 우리는 자세히 걷지 않을 것입니다 이것에 관해서는 Spark가 얼마나 자주 있는지를 알게 될 것입니다

여기서 간단한 설명을 드리겠습니다 그러나이 모든 목표는 그 당시 배울 것입니다 세션의 이제, 그래서이 부분을 보자 이 사건을 어떻게 사용하게 될지, 모두들 어떤 질문이든 알고 있어야합니다 그래서 나는 깨질거야 너의 표면이 흔들리는 것 같아 너의 집이 떨리는 거지, 사실 일어나는 모든 사건들 인도 출신이라면 최근에 보았을 것입니다

온 지진 사건이있었습니다 최근 네팔에서도 네팔에서 싸운다 그 사건이 있었는데, 이것들은 빠른 유지입니다 와서, 지금 매우 중요한 부분은 지진이 큰 지진이라면 earthquick 또는 어쩌면 쓰나미처럼 산불이 화산일지도 모릅니다 이제는 그들에게 친절을하는 것이 매우 중요합니다

균열이 올 것 같아요 그들은 그것을 예측할 수 있어야합니다 미리, 그렇게해서는 안된다 그들이 나가기 위해 나간 마지막 순간 그 후 온 국기는 아무 협박도없이 온다 그것은 그렇게 일어나서는 안된다

이 모든 것들을 미리 예측할 수 있어야한다 그들은 미리 예측할 수 있어야합니다 일본이 오늘 기름을 사용하고있는이 배출 시스템 실시간 유형의 사용 사례입니다 내가 제시하고있는 것이 일본이 이미 존재하기 때문이다 해결하기 위해이 경로를 사용하여 펭귄 이 지진으로 우리가 보게 될 것입니다

그들이 그것을 어떻게 사용하는지 이제 일본 지진 모델에서 어떤 일이 일어 났는지 말해 보겠습니다 그래서 지진이 올 때마다 예 : 오후 3시 또는 오후 2시 46 분 지금 일본 지진 조기 경보가 예측되었다 이제 그 일은 내가 예측 한대로 였어 즉시 그들은 학교에 경보를 보내기 시작합니다

모든 역의 공장까지 엘리베이터로 TV 방송국을 통해, 그들은 즉시 친절 모든 사람들에게 말했습니다 그래서 모든 학생들은 학교에 거기에 그들이 갈 시간이있어 책상 아래, 달리기 전의 탄환 열차 그들은 즉시를 제외하고 다르게 멈췄다 이제 탄환 열차가 흔들 리기 시작합니다

이미 초고속으로 연소하고있다 그들은 정렬이 없어야한다는 것을 보증하기를 원한다 그 사상자 때문에 총알 기차가 멈췄다 모든 엘리베이터들 달리는 리프트가 멈췄다

그렇지 않으면 어떤 사건이 일어날 수있다 60 초 전, 60 초 전 그들이 거의 알릴 수 있었던이 번호 모두, 그들은 메시지를 보낸다 그들은 TV에서 모든 것을 방송했습니다 그들은 즉시 모든 논문을 마쳤습니다 최소한이 메시지를 보낼 수 있도록 누구든지 그것을받을 수 있고 구원 받았다

수백만의 생명, 그래서 그들이 어떻게 할 수 있었는지 우리가이 모든 것을 다했다는 것을 성취하기 위해 팔꿈치 아파치 스파크의 그들이 어떻게 지내기 전에 가장 중요하다 당신은 그들이하고있는 모든 것을 볼 수 있습니다 거기 그들은 실시간 시스템에서 그것을하고 있습니다 데이터를 수집 할 수 없으면 나중에 그들이했던 모든 과정은 실시간 시스템, 그래서 그들은 연결 즉시 처리되는 데이터 및 곧 그들이 지진을 감지하자마자 그들은 즉시 실제로 이것이 2011 년에 일어난 사실을 알려주었습니다 이제는 매우 자주 사용하기 시작합니다

일본은 이것은 매우 빈번하고 영향을받습니다 그래서 중요한 것은 우리가 할 수 있어야한다는 것입니다 데이터를 처리하기 위해 미디어에 문제가 없다 여러 소스의 데이터를 처리 할 수 ​​있어야합니다 그들은 여러 출처에서 올 수 있기 때문에 서로 다른 소스 일 수 있습니다

이 사건은 다른 어떤 사건이 수정 되었기 때문에 우리는이 일이 일어날 수 있다고 예측하고있다 그것은 매우 사용하기 쉬워야합니다 그것은 사용자를위한 것에서 매우 복잡합니다 그것을 사용하는 것은 매우 복잡해질 것입니다 문제를 해결할 수없는 경우 지금도 결국에는 많은 메시지를 보내는 방법 오른쪽 하단까지, 모든 것들 스파크가주의를 기울입니다

이제 두 가지 종류의 레이어가 있습니다 지진이 일어나면 프라임 기부와 두 번째 건물 스파크에는 두 가지 종류의 방법이 있습니다 초벌절 파도는 벤더와 같거나 언제입니까? 시작하려면 Dickey Center에서 시작하십시오 go 또는 20을 시작하여 시작할 것입니다

이차적 인 물결이 더 심하다 친구 한테도 불을 붙 였지 일단 시작되면 2 차 실패로 그것은 크게 손상을 입힐 수 있습니다 당신은 초기 파동을 말할 수 있지만 두 번째 파동 우리는 그것의 위에있을 것이다 그래서 그들은 발견한다 세부 사항을 만든다 그 점에 관해서는 그 세부 사항에 대해서는 언급하지 않을 것입니다

하지만 여기에 관해서는 그와 관련하여 몇 가지 세부 사항이있을 것입니다 이제 우리가 스파크를 사용하여 무엇을 할 것인가? 우리는 우리의 정직을 창조 할 것입니다 그럼 우리 기계에서 보자 우리가 OC보다 얼마나 싸게 계산할 것인가? 어떤 것을 사용하여 나중에이 문제를 해결할 것인가? 도움으로이 알파를 계산할 것입니다 스파크 시스템의 우리가 다시 와서하자 이 기계에, 지금 그 일을하기 위해서 일단이 용어를 빠져 나가면 빠져 나오십시오

이 관심사에서 지금 당신이하려는 일 나는이 프로젝트를 이미 만들었고 여기에 보관했다 왜냐하면 우리는 당신에게 이것에 대한 개요를주고 싶기 때문입니다 내 다운로드 섹션으로 가자 src라는 프로젝트가 여러분의 프로젝트입니다 처음에 당신이 가질 모든 것 너는 모든 일들을 처음부터 끝내지 않을 것이다

그래서 무슨 일이 일어날 지 그래서 내가 가면 여기에서 내 다운로드에는 alt 프로젝트가 두 개 있습니다 지금은 처음에는 내가 생각하는이 목표 디렉토리 프로젝트 디렉토리 우리는 SBT 심볼 위에 사용할 것입니다 가위 확장 도구를 SBT로 모르는 경우 모든 의존성을 처리합니다 check는 모든 의존성을 충분히 처리합니다 그래서 mebane과 매우 비슷합니다

이미 Mebane을 안다면, 매우 유사하지만 동시에 나는 선호한다 이 SBB는 SBB가 쓰기 쉽기 때문에 당신의 방법과 비교하여 이 법안을 쓸 때 생각을 쓰는 중이다 그래서 이것은 당신에게 buildsbt를 쓸 수있게 해줍니다 이제이 시점에서 프로젝트의 이름, 버전 의 스칼라 버전을 사용하여 당신은 의존성이 무엇인지를 사용하고 있습니다

당신은 어떤 버전의 의존성을 가지고 있는가? 당신은 예를 들어 4 개의 스파크가 있습니다 저는 152 버전의 스파크를 사용하고 있습니다 내 프로그램에서 뭐든간에 나는 무엇이든을 요구하는 경우에 쓰고있다, 스파크 작업과 관련된이 웹 사이트에서 가져 오기 org

apachespark, 다운로드하여 설치하십시오 Spark 스트리밍 프로그램에 대한 종속성이 필요한 경우 이 특정 버전 152 이 웹 사이트 또는이 링크로 이동하여 실행하십시오

가장 좋은 몫에서 비슷한 것을 말하고 있습니다 자, 일단이 작업을 완료하면 폴더 구조, 폴더 구조 SRC 폴더를 만들어야합니다 그 후에 당신은 메인 폴더를 만들 것입니다 주 폴더에서 다시 만들 것입니다 ELA라는 폴더 이제 그 안에 당신은 당신의 프로그램을 지킬 것입니다

그래서 지금 여기서 당신은 당신의 프로그램을 작성할 것입니다 그래서 너는 이걸 볼 수 있니? streamingscala, networkscala, rscala

그럼 아래의 블랙 박스로 유지합시다 그럼 당신은 달성 코드를 작성하는 것입니다 이 문제 성명서, 지금 우리가하는 것 이 일에서 나가자 기본 프로젝트 폴더로 이동하고 여기에서 당신은 sve 꾸러미를 쓸 것이다, 존경심을 가지고 다운로드가 시작됩니다 당신의 프로그램을 검사 할 것입니다 스파크 경로에 필요한 의존성 경로 스트리밍, Spark MLlib 다운로드 설치하고 다운로드하면됩니다

설치하고 실행하지 않을 것입니다 전에 이미 해 봤기 때문에 또한 시간이 걸리기 때문에 그 이유가 있습니다 나는 그것을하지 않고있다, 이제는 네가 채운 후에 이 패킷은 모든 디렉토리를 찾을 수 있습니다 직접 현장 프로젝트 디렉토리 이것들은 이것들의 나중에 만들어졌다 이제 어떻게 될 것인가? 이걸 만들었 으면, 이클립스에 갈거야

그래서 이클립스를 열고 이클립스를 열어 보겠습니다 모든 파일이 준비되어 있습니다 지금 나는 이미이 프로그램을 내 앞에두고있다 하지만 당신이 어떻게 데려 올지 말해 줄 게요 이 프로그램은 이제 너에게 갈거야

두 가지 옵션 모두에서 가져 오기를 선택하면 기존 프로젝트를 작업 공간으로 가져오고, 다음에 한 번 선택하면됩니다 예를 들어 주 프로젝트를 선택해야합니다 분화구를위한이 r2 프로젝트 좋아, 일단 그렇게하면 여기에 프로젝트 디렉토리가 있습니다 도구가 여기 올 것입니다 이제해야 할 일이 있습니다

너의 것과 같이이 프로그램을 모두 무시하라 클로렐라 만 있으면 돼 내 주요 기능 코드를 작성했습니다 이제 그 일이 끝나면 당신은 치유 사 응용 프로그램으로 실행해야합니다 코드가 실행되기 시작합니다

이제이 오류가 나를 반환합니다, 이 출력을 보자 자, 이걸 보면, 한 번 보여줄거야 실행이 끝났습니다 ROC 아래의이 영역을 자주 봅니다 그래서 이것은 모두 로우 패스 프로그램으로 계산됩니다

마찬가지로 다른 프로그램들도있다 속도를 화면에 표시하는 데 도움이 될 것입니다 나는 그 모든 것을 다 걷지 않고있다 이제 내 PPT로 돌아가서 우리가 무엇을 할 지 다음 단계는 무엇입니까? 그래서 당신은 이것을 볼 수 있습니다 엑셀 시트 나는 지금 ROC를 유지하고있다 이제 ROC를 만든 후에 우리는 그래프를 생성 할 것입니다

현재 일본에는 중요한 것이 하나 있는데, 일본은 이미 지진의 영향을 많이받는 지역이다 이제는 그 문제가 무엇이든간에 사소한 지진에도 마찬가지야 경고를 보내기 시작해야합니다 사소한 애정 때문에 모든 것을하고 싶지 않아 사실 건물과 기반 시설 일본에서 만들어진 것은 그런 식으로 여섯 가지 규모 아래 지진이 발생하면 거기에 가정의 방법으로 설계된 아무런 피해도 없으며 피해도 없을 것입니다

그래서, 이것은 당신이 일할 때 가장 중요한 것입니다 일본에있는 일본인들과 그래서 6이라는 의미는 묻혀 있지 않습니다 6 세 이상, 그들은 걱정하고 있습니다 이제 그들은 그래프 생성이 될 것입니다 네가 할 수있는 일, 너는 다시 할 수있어

이 그래프를 생성하면 너는 아무 것도 보지 않고 너는 가고있어 6 세 이상, 6 세 이상인 경우 우리는 즉시 그들을 시작해야합니다 이 프로그래밍 사이트를 알고 있다면 우리가 방금 만든 것입니다 너는이 실행 경로를, 지금 가지고 있다면 동일한 결과를 시각화하기 위해 이것은 무엇인가? 내 ROC를 보여주고 있지만 내 지진이 6보다 커지면 그때 파도 나 많은 것들만이 일어납니다 그렇지 않으면 평온을 유지하는 모든 사람들에게 배우십시오

그것이 프로젝트입니다 우리가 일반적으로하는 것입니다 우리의 공간 프로그램 디자인을 보여줍니다 이제는 우리가 친절한 유일한 프로젝트가 아닙니다 여러 개의 제품 세그먼트를 생성하는 방법 예를 들어 내가 좋아하는 모델을 만드는 것처럼 어떻게 벽을 만들지 않을 수도 있습니다

존경심으로 어떤 판매가 일어나고 있는지 스파크와 아파치를 사용하고있다 거기서 끝나고 산출물을 시각화하는 것 어떤 분석을 하든지간에 이 모든 것을 그렇게 주문하고 있습니다 우리가 세션을 할 때 우리는 당신을 걸어 간다 배운 모든 것들은 운임과 느낌 이 모든 프로젝트는 현재 사용 중입니다 당신이 화제를 알지 못하기 때문에 당신은 할 수 없습니다

그 때 프로젝트의 100 %를 얻으려면 주관적인 각 주제를 알게되면 당신은 스파크가 어떻게 생겼는지에 대한 명확한 그림을 갖게 될 것입니다 이 모든 새로운 공간을 끝내고 있습니다 그래서 우리가 토론하고 싶은 것을 선택합니다 두 번째 부분과 함께, 그래서이 세션을 바란다 여러분 모두에게 유용합니다

통찰력이 있습니다 스파크가 작동하는 방법, 왜 우리가 갈 거에요? 스파크와 무엇에 관한 이용 가능한 중요한 것들과 그게 중요해 (말도 안되는 소리) 그들 중 한 명에게서 질문이 있으면 물어보십시오 너 뭐야, 아파치 스파크 뭔가 리얼 타임에서는 아직 내가 거의 다 보통이다 실시간을 만들 수는 있지만 유용하지는 않습니다

그래서 우리가 시도하기 때문에 거의 원자로에 가깝습니다 어떤 사람들하고 너에게 말하고있어 정확히는 아니지만 심지어 내 목소리까지 도달합니다 최소한 몇 초 만에 최소한 당신에게 또는보고있는 경우에도 나노초 단위 내 화면에서 당신은 예외에서 그 데이터를 보지 못한다 스파크 리얼 타임 스쿼터에있는 것의 정의 할 수 없으므로 짝수가 될 것입니다

거의 실시간으로 불리는 사소한 지연 그것이 우리가 결정할 수있는 것입니다 일반적으로 이것이 우리가 설계하려고하는 것입니다 사실 그것은 거의 다른 질문 일 것입니다 누구든지이 세션은 매우 도움이됩니다 나는 오늘 나를 많이 고마워했다

그래서, 만약 당신이 세부 사항을 배우고 싶다면 당신은 Tilaka와 연락을 취할 수 있습니다 나도 거기있는 다른 사람이고 너에게 말해 줄께 이 시장에서 가장 인기있는 주제입니다 지금 당장 이용할 수있는 직업이 너무 많아요 내 말에 순종하지 말고 그냥 가라

당신이 최대 일자리를 볼 수있는 자신을 탐험 해보세요 큰 데이터를 가져 왔고 그 이유는 많은 사람들이 아파치쪽으로 움직이고 있습니다 드레이프 나는 그것을 배우는 많은 학생들이 머리를 가지고있다 우주선을 만드는 사람들이 많이있다 이 도메인에서 일을 성공적으로 마쳤습니다

이 모든 것을 흥미있게 만들어 주신 모든 분들께 감사드립니다 이 에드레카 세션을 좋아하길 바래 무슨 길을 다시 우리가 다시 한 번 에드레카 세션입니다 나는 너를 다시 한번보고 싶다 그래서 모두 감사합니다 이 비디오를 듣고 즐거웠기를 바랍니다

친절하게 대해 주시고 댓글을 달 수 있습니다 의심이나 의문이 생기면 우리는 대답 할 것입니다 가장 빠른 시일 내에 그 (것)들에게 더 많은 동영상을 찾아보십시오 우리의 재생 목록과 우리의 에드레카 채널에 가입 더 배우고 행복하게 배우기

Introduction to IoT | IoT Projects-Smart Chair | IoT Tutorial for Beginners | IoT Training | Edureka

안녕하세요,이 분들은 에드레카 (Edureka)의 바하라 (Bharani)입니다 오늘의 교육 세션에서 우리는 사물의 인터넷은 왜 다음 큰 혁명 이니, 이해하자

오늘의 교육 목표에서 우리는 무엇을 이해하는지 시작합니다 정확히 인터넷의 사물이고 우리는 다음의 진화를 살펴볼 것입니다 인터넷은 IOT 아키텍처를 통해 갈 것이며 다음을 살펴볼 것입니다 IOT에 사용 된 여러 개발 보드와 마침내 우리는 Raspberry Pi 3을 사용하는 스마트 의자의 개념 목표는 마침내 나에게 채팅을 적어서 확인을 준다 상자 괜찮아요

라비가 분명하다고 말하면서 샘 팔라비는 질문을했습니다 Arduino와 IOT 개발 키트를 묻습니다 Pallavi Arduino가 있습니다 실제로 오픈 소스 하드웨어 및 소프트웨어 회사는 자신의 IOT 장치를 만들기위한 싱글 보드 마이크로 컨트롤러 귀하의 질문에 대답 Pallavi 괜찮아 그래서 Pallavi 예 맞아요 모두들 지금 Eureka의 IOT 인증 과정을이 과정에서 이수하 실 겁니다 센서 및 부품 통합을 사용하여 IOT 솔루션을 개발하는 방법을 배우게됩니다

빅 데이터 (Big Data)에서 IOT를 구현하고 활용도 및 추출 된 데이터의 모델링이 과정에 포함 된 유스 케이스 및 실습 IOT 기술이 어떻게 미래를 변화 시킬지 이해하는 데 도움이 될 것입니다 이 교육이 끝나면 귀하는 다음과 같은 역할과 책임을 배우게됩니다 IOT 개발자 바로 지금 당장 세션을 시작해 보겠습니다 인터넷이라는 용어는 기본적으로 인터넷이 기본적으로 전세계 컴퓨터 연결 인터넷은 공유 할 데이터 고속도로를 제공합니다 전 세계 한 곳에서 다른 곳으로 네트워크를 통한 정보 제공 컴퓨터 연결에서 인터넷의 기능을 확장 할 때 세계적으로 몇 개의 작은 전자 장치를 연결하는 것 Internet of Things 스마트 한 창의력을 지닌 스마트 한 장치가 이제는 만들어졌습니다

IBM Internet of Things에 따라 IOT에 대한 IBM의 정의를 살펴보십시오 모든 장치를 인터넷에 연결하는 개념과 다른 장치를 인터넷에 연결하는 개념 인터넷의 물건 인터넷은 연결된 일을하는 거대한 네트입니다 모든 사람들은 그들이 사용하는 방식에 관한 데이터를 수집하고 공유합니다 그들 주위의 신체 환경 그래서 지금 우리는 정확히 내가하는 일의 인터넷이 무엇인지를 이해했습니다 인터넷의 진화를 살펴보면 인터넷 시대 이전의 대부분의 인간과 인간의 의사 소통은 고정 된 이동 전화를 통해 문제가되었다

유선 전화를 사용하면 통신 회사와 전화 통화를 예약해야합니다 가능한 경우 가끔 연결하기 때문에 수 시간 또는 며칠이 걸릴 수 있습니다 그때 인터넷의 근원으로 세계는 즉시 바뀌었다 지리 정보를 고려하지 않고 정보를 공유 할 수있는 메커니즘을 제공했습니다 위치는 대륙이 될 수 있고 여전히 중요한 정보를 공유 할 수 있습니다

버튼 클릭과 블로깅 소셜 미디어 발명이 시작된 후 MySpace와 LinkedIn과 같은 인기 사이트에서 폭발적인 인기를 얻었다 2000 년대 초 YouTube는 2005 년에 나왔습니다 먼 거리에서 서로 의사 소통하고 공유하는 사람들 2006 년 페이스 북과 트위터가 전 세계 사용자에게 공개되었습니다 오늘날 소셜 네트워킹 사이트의 엄청난 다양성과 그 중 많은 것들이 있습니다 교차 게시를 허용하도록 연결될 수 있으므로 사용자가 친밀감을 희생하지 않으면 서 최대한 많은 사람들에게 다가 갈 수있다

사람과 사람의 의사 소통이 가능하며 컴퓨터 및 그러므로 인터넷은 거의 전적으로 인간에 의존한다 인터넷에서 거의 모든 데이터를 이용할 수있는 정보 기록을 눌러서 인간에 의해 처음으로 붙잡혀 만들어졌습니다 디지털 사진을 찍거나 바코드를 스캔하는 버튼은 사람들이 문제입니다 제한된 시간의 주의력과 정확성을 가지며 이는 모두 좋지 않다는 것을 의미합니다 실제 상황에서 데이터를 캡처하는 데만 사용하고 컴퓨터가 있으면 감사합니다

데이터 또는 가제트를 사용하지 않는 것에 대해 알아야 할 모든 것 우리의 모든 도움은 우리가 모든 것을 추적하고 세며 대대적으로 사물을 교체해야 할 때 알 수있는 낭비, 손실 및 비용을 줄입니다 수리 및 그들이 신선하거나 과거 최고 였는지 여부는 모두 인터넷 오브 사물을 통해 지금까지는 IOT가 인터넷에 연결되어 있지 않다는 것을 이해했을 것입니다 실제로 소비자 장치는 IOT가 가능한 시스템을 구축 한 기술입니다 현실 세계의 자극에 자율적으로 감지하고 반응 따라서 인간의 개입은 확실한 프로세스 흐름을 개발할 필요가있다 프레임 워크는 IOT 솔루션이 내장되어 있으므로 Internet of Things는 엔티티 또는 고유 한 물리적 장치입니다

임베디드 시스템을 식별하고 네트워크를 통해 데이터를 전송할 수있는 능력 이러한 것들에는 센서와 액추에이터가 장착되어있어 전송하는 장치의 센서 신호 수용 및 처리 물리적 환경의 정보를 신호로, 액추에이터는 센서로부터의 신호에 작용하는 장치이며, 수집 된 정보를 전송하기 위해 출력물로 변환 아두 이노 (Arduino)와 같은 하드웨어 구성 요소와 라스베리 파이 (Raspberry Pi)는 센서는 아날로그 형태로 시작하여 집계하여 다운 스트림 데이터 수집 시스템을위한 디지털 스트림 이러한 데이터 집계 및 변환 기능을 수행합니다 센서 및 액츄에이터에 근접하여 설치되는 수집 시스템 예를 들어 펌프에는 6 개의 센서 및 액추에이터가 포함될 수 있습니다 데이터를 데이터 집계 장치에 공급할뿐만 아니라 데이터를 디지털화하고 거기서 인접한 게이트웨이 장치 나 Cir 단어가 될 것이므로 데이터를 디지털화하고 IOT 데이터가 디지털화되면 다음 단계로 전달합니다 통합되어 IT 영역으로 넘어갈 준비가되었지만 데이터에 필요할 수 있음 데이터 센터에 들어가기 전에 처리해야합니다 IT 처리 시스템은 원격 사무소 또는 기타 에지 위치에 배치 될 수 있습니다

그러나 일반적으로 우리는 시설이나 장소에서 그들이 더 가까이에 거주하고 있다고 말했습니다 센서는 예를 들어 와이어 링 클로짓과 같이 통과하지 않고 펌프의 bration 데이터로 원시 처리하여 데이터를 집계하고 변환 할 수 있습니다 그것을 분석하고 각각에 관해서만 투사를 보냅니다 장치가 더 자세한 처리가 필요한 깔끔한 서비스 데이터에 실패하고 피드백이 즉각적이지 않아도 물리적 인 보다 강력한 IT 시스템이 분석 할 수있는 데이터 센터 또는 클라우드 기반 시스템 데이터를 안전하게 관리하고 안전하게 저장할 수 있습니다 센서 데이터를 다른 소스의 데이터와 더 잘 결합시켜야합니다

통찰력 4 단계 처리는 클라우드 또는 전제 조건에서 수행 될 수 있습니다 하이브리드 클라우드 시스템이지만 그 단계에서 실행되는 처리 유형은 그대로 유지됩니다 플랫폼에 관계없이 동일하므로 IOT 솔루션 아키텍처였습니다 이제 우리는 다른 IOT 개발 보드를 살펴볼 것입니다 우리는 Arduino에서 시작하여 Arduino는 오픈 소스 플랫폼입니다

전자 프로젝트를 구축하기 위해서는 물리적 프로그래밍 가능 회로 보드 및 소프트웨어 또는 IDE의 조각을 누른 다음 우리는 라즈베리 파이 나무 딸기 파이 원래 교육용으로 설계된 신용 카드 크기의 컴퓨터이며 1981 년 영국 BBC 마이크로에서 영감을 얻은 이유는 단일 보드 컴퓨터가 약 700MHz의 ARM 프로세서가 탑재 된 Broadcom의 칩 시스템 그리고 256에서 512 메가 비트 램의 가격은 파이 모델의 경우 약 35 달러이며, 많은 온라인 및 실제 매장을 통해 구입할 수 있으며 인텔 Galileo Intel Galileo는 Arduino 인증 제품 중 첫 번째 제품입니다 Intel x86 아키텍처 기반의 개발 용 부츠입니다 제조업체 및 교육 커뮤니티 인텔을 기반으로 한 최초의 보드입니다 방패와 호환되는 하드웨어 및 소프트웨어 펜이되도록 설계된 아키텍처 당신이 알고있는 Arduino를위한 디자인 r3 IOT에 사용되는 일부 개발 부츠의 복용량 이제 우리는 진행할 것입니다 첫 단계가 될 수 있도록 라즈베리 파이를 구성하는 방법을 이해해야합니다

거기에 나무 딸기 파이 도트 org에서 운영 체제가 다운로드 다운로드 그래서 우리는이 raspbian을 다운로드해야 할 것입니다 운영 체제 다운로드 후이 zip 파일을 다운로드합니다 운영 체제가 SD 카드에로드해야하기 전에 우리는 SD 카드를 포맷해야하므로이 사이트의 SD 카드로 갈 것입니다 도트 org는 SD 카드 형식을 다운로드 할 수 있습니다 이제 소프트웨어를 사용할 수 있습니다

Windows 및 Mac 시스템 모두에서 사용할 수 있으며 Windows 시스템을 사용하고 있으므로 다운로드 할 수 있습니다 Windows 용 라이센스 계약에 동의하겠습니다 우리가 필요로하는 SD 카드를 포맷 한 후에 다운로드가 시작됩니다 운영 체제를 SD 카드에 플래시 할 수있는 디스크 이미 저 우리는 sourceforgenet에 가서 win32 디스크 이미 저를 다운로드 할 것입니다

다시 다운로드를 클릭하면 다운로드가 시작됩니다 그래픽 데스크톱 공유 시스템이 필요합니다 그래픽 사용자 인터페이스를 사용하는 Raspberry Pi는 진짜 VNC입니다 GUI를 사용하여 Raspberry Pi와 함께 작업 할 수있게 해주는 소프트웨어 BNC 뷰어를 다운로드하면 다운로드가 시작되고 위의 단계를 통해 SD 카드를 라즈베리 파이에 삽입 할 수 있습니다 전원 케이블을 PI에 연결하고 전원 케이블을 PI가 개방형 Wi-Fi 네트워크 검색을 시작할 것이므로 우리가 할 일은 우리 시스템에서 핫스팟을 켜면 Raspberry Pi가 우리의 시스템에 연결됩니다

컴퓨터의 Wi-Fi와 일단 컴퓨터의 Wi-Fi에 연결되면 Raspberry Pi의 동적 IP 주소를 볼 수 있습니다 IP 주소를 입력하고 대화 상자 나 뷰 NC 뷰어에 내려 놓습니다 이것은 우리에게 Raspberry Pi로 작업 할 수있는 그래픽 사용자 인터페이스를 제공합니다 그러니 가자 그러면 내가 설정으로 가서 라즈베리를 보자

Pi는 이미 내 Wi-Fi 네트워크에 연결되어 있으며 동적 IP입니다 라즈베리 파이의 주소를 입력하면이 IP 주소를 받아 들일 것입니다 이제 VNC 뷰어의 대화 상자가 나에게 GUI를 제공합니다 – ok transferee 이제 스마트 의자의 개념을 이해하고 이해합니다 똑똑한 의자를 사용하면 앉아있는 것보다 훨씬 더 많은 것을 할 수 있습니다 똑똑한 응용 프로그램을 사용하면 자녀가 전기를 절약 할 수 있습니다

그리고 에어컨 비용은 클라우드에서 실행되는 프로그램이 될 것입니다 사무실 바닥에있는 모든 좌석이 지정된 시간 동안 센서가 의자에 센서를 조명 및 공조 시스템에 설치하고 전원을 켜십시오 똑똑한 의자를 다른 용도로 사용하지 않으면 우리가 상당히 큰 강당에서 특정 좌석을 찾는 강당은 홀이 부분적으로 만 채워지고 사람들이 공석에 대한 지식을 지키면 관객에게 엄청난 도움이 될 것입니다 지정석이 없다 좌석 점유에 대한 지식 또한 행사를 제공 할 것이다

좌석 점유 및 출석 패턴에 대한 데이터가있는 조직자 또 다른 재미있는 시간에 당신은 당신의 상사 밑에 IOT 장치를 둘 수 있습니다 귀하의 상사가 기내에 있는지 여부와 언제 귀하가 알 수 있도록 의자 그는 너 주위에 있지 않아서 행복하게 낮잠을 자고있어 그래서 우리 자신의 IOT 기반의 마처를 만들자 라스베리 파이는 Smasher를 만들어야 만했던 이래로 그 감각에는 8 가지 특징이있었습니다 8 개의 RGB LED 매트릭스와 미니 조이스틱 및 센서를 연결하는 자이로 스코프 가속도계 자력계 온도 센서 습도 센서 및 기압계 압력과 이것이 우리가 알아낼 수있는 파이썬 코드입니다

의자가 비어 있거나 VNC 뷰어로 이동하여이 코드를 올바르게 이해하지 못하게하십시오 그래서 이것은 코드 모션이나 py입니다 그래서 우리가하는 일이 이해됩니다 우리는 감각 모자 패키지를 가져오고 있으며 감각 모자 패키지가 필요합니다 그래서 우리는 라스베리 파이 (Raspberry Pi) 꼭대기의 센스 모자로 작업 할 수 있습니다

우리는 또한 시간 패키지를 가져와 라즈베리 파이를 이 두 패키지를 가져온 후에 잠자기를하면 전체 코드를 내부에서 작성하고 있습니다 이 클래스는 센서 감지로 이름을 정하고이 클래스 안에 있습니다 감각 모자에서 값을 읽고 그 값을 감각에 저장 이제 우리가 할 일은 변수의 값을 계속 읽는 것입니다 가속도계에 저장하고 가속도 개체를이 개체에서 저장합니다 우리는 x 축 y 축과 z 축의 값을 취하여 XY와 Zed에 저장합니다

변수가 각각이 세 변수는 XY 및 z 축을 계산 한 후 x의 값을 10 진수로 반올림합니다 똑같은 장소에서 y 값을 소수점 이하 자릿수로 낮추면 우리는 말한 값을 첫 번째 소수점 이하로 반올림 한 후 인쇄합니다 x y & z의 값을 인쇄 한 후 x y & z의 값은 라즈베리를 넣을 것입니다 파이가 2 초 동안 잠을 자면 우리가이 일을하는 동안 값을 출력 할 것입니다 x y & z와 그 다음 나무 딸기 파이는 잠을 자고 자면 Z가 0보다 크거나 같으면 메시지가 표시됩니다

chain의 값이 0보다 작 으면 체인이 비어 있거나 다른 한편으로는 의자가 비어 있지 않다는 메시지가 나옵니다 비어 있고 그 축이 긍정적 인 것을 의미하지만, 누군가가 와서 의자에 앉아서 의자가 뒤로 젖혀지며 기울기 z 축은 이제 음의 값을 가지므로 메시지를 얻습니다 의자가 비어 있지 않으므로 터미널에서이 명령을 실행 해 봅시다 우리는 코드를 실행하거나이 명령을 사용하여 Python 모션 다트 py 및 코드 개가 작동하기 시작합니다 그래서 여기서 볼 수있는 것은 값입니다

XY와 Z의 값을 출력하고 xy & z의 값을 출력 한 후에 우리는 내 전화기에서 같은 코드를 실행하고 싶다면 의자가 비어있다 ssh 클라이언트가 필요합니다 그런 ssh 클라이언트는 Android와 iOS 휴대 전화를 종단 앱으로 사용할 수 있도록 다음과 같은 목적으로 내 안드로이드 폰을 다운로드 한 후에이 코드를 실행 해 보겠습니다 당신이 볼 수 있듯이 지금 전화는 내 전화에 모션 코드를 py 코드를 실행했습니다 그래서 나는 xy와 z 축 값을 얻는다 의자가 비 었음을 알려주는 메시지가 지금 내 친구가 올 것입니다

내 친구가 우리가 보는 의자에 앉아서 의자에 앉는다 z 축의 값에 변화가 있고 메시지에도 이제 우리는 의자가 비어 있지 않으므로 우리는 전화의 종착역의 도움으로 스마트 의자의 개념 그래서 우리는이 비디오가 끝날 때까지 우리를 이해함으로써 시작했습니다 정확히 무엇입니까 그리고 우리는 다음 인터넷의 진화를 봐 우리는 IOT 아키텍처를 살펴본 후 다른 IOT를 살펴 봅니다 우리가 우리의 라즈베리 파이와 모션 닷 P UI 코드를 이해했습니다 의자에서 발견 된 UI 코드는 비어 있습니다

비디오를 좋아하길 바래서 고맙다 당신

Native Visual Analytics for Big Data

Arcadia Enterprises 최초의 원주민 Big 용 시각적 분석 플랫폼 데이터는 셀프 서비스 간 격차를 메워줍니다 데이터 시각화 및 고급 analytics 건축가 IT 팀은 선택한 플랫폼에서 유지할 수 있습니다

및 adolis는 세분화 된 깊은 통찰력을위한 원시 데이터 비디오는 세 가지 핵심 요소 인 전통과 차별화 된 Arcadia Enterprise 비즈니스 인텔리전스 소프트웨어 및 빅 데이터 솔루션 비즈니스는 유산에 의해 허물을 앓고있다 얼음 세 분석가가 될 필요한 세분화 된 세부 정보 빅 데이터 분석 및 건축가 보안에 불편한 타협을가한다 및 기타 우려 아케이드입니다 레거시 BI 스택 창 밖으로 X 사이의 구성 요소 관련 지연 제거 오류 및 오버 헤드 아카디아 기업은 귀하의 데이터 플랫폼에 데이터가 없습니다 운동 Arcadia Enterprise 활용 데이터 플랫폼의 기본 보안 병 및 상속 역할 기반 액세스 제어 관리를 줄이기 위해 엔진이 데이터 플랫폼 성능 내에서 실행됩니다 큰 데이터 스마트 가속 기능을 갖춘 비늘 보험 데이터에 빠르게 액세스 할 수 있습니다

빠른 분석을 통해 빠르게 분석 할 수 있습니다 수백 명의 사용자에게 아카디아 출신의 아카디아 엔터프라이즈 시각적 분석 및 데이터 검색 직접 큰 데이터 환경에서 다음을 기반으로 데이터 애플리케이션을 구축 할 수 있습니다 비주얼 애널리틱스 큐브 없음 또는 데이터 마트가 직접 연결 구름과 다른 데이트를하는 사람 브라우저 내의 바로 지형 Arcadia 엔터프라이즈를 사용하면 세분화 된 데이터 직접 시각적 분석 애플리케이션을 신속하게 구축하십시오 익숙한 포인트 앤 클릭 인터페이스 끌어서 놓기 측정 항목 및 측정 기준 브라우저 탐색기에서 관계를 신속하게 파악하고 노출한다 극도로 세분화 된 세부 묘사가 필요없는 세부 사항 Arcadia Enterprises 비주얼 라이브러리 전통적인 시각화를 임베드 할 수 있습니다

막대 차트 및 원형 차트와 함께 대화 형 그래픽과 같은 현대 시각화 지도 네트워크 잔디 및 기타 결합 비주얼을 대시 보드로 가져와 직관적으로 만들 수 있습니다 워크 플로 기반 데이터 응용 프로그램 브랜드 준수 애플리케이션 여기 기업 표준에 내가 결합하고있어 뉴욕에 기반을 둔 여러 비주얼 City 택시 데이터를 애플리케이션으로 전송 상인이나 교통 수단에 유용 할 수 있습니다 회사는 그러한 응용 프로그램을 게시 할 수 있습니다 반복 분석 및 공유 통찰력 응용 프로그램으로 쉽게 필요한 세부 수준까지 예 :이 비주얼을 드릴 할 수 있습니다

인기있는 경로의 이해를 돕기 위해 요약 아카디아에 연결되어있다 엔터프라이즈는 큰 당신은 시각적으로 탐험 할 수있다 데이터를 빠르게 분석하고 드래곤 드롭 인터페이스로 쉽게 사용할 수 있습니다 고급 비주얼 및 응용 프로그램 빌드 수백 명의 사용자와 공유 할 수 있습니다 네이티브를 사용한 데이터 애플리케이션의 시대 비주얼 애널리틱스 가속화 Arcadia Enterprise를 사용한 데이터 통찰력 내부를 찾아라

Hadoop Tutorial | What Is Hadoop | Big Data Hadoop Tutorial For Beginners | Intellipaat

안녕하세요, 하둡 세션에 오신 것을 환영합니다 그럼 아주 작은 이야기부터 시작합시다

우리는 잘 가야한다 그래서 나는이 전자 상거래 사이트의 CEO 인 Jeff Bezos입니다 Mamazon와 너희들은 내 기술자 야 그래서 오늘 우리의 조직은 다음과 같이 보입니다 우리는 전자 상거래 사이트와 오라클에서 실행됩니다

우리는 인벤토리를 가지고 있고 그것은 MY SQL에서 실행됩니다 그래서 인생은 여기에서 아주 쉽게, 모든 것이 굉장합니다 그래서 지금 내가 대답하기를 원한다면 의문 다음 달에 얼마나 많은 iPhone을 주문해야하는지 말해 보겠습니다 아주 단순한 지금해야 할 일을하는 전형적인 비디오는 모든 것을로드하는 것입니다

이 데이터를 데이터웨어 하우스에 저장하고 테라 데이터를 말한 다음 기본적으로 귀하의보고 이것이 바로 tableau 및 Qlikview와 같은 도구가있는 곳입니다 그래서 데이터가 생성되면웨어 하우스에로드하고 생명은 매우 간단합니다 하지만 한 가지 문제가 있습니다 이 전체 설정의 실제 문제 보게 될 때까지 이것이 잘 돌아갔을 것입니다

2000 또는 2005 오늘 우리는 2018 년에 있으며 질문은 그렇게 간단하지 않습니다 우리가보고있는 데이터의 양이 매우 거대하기 때문에 간단한 예를 들자 이제 내가 질문을 바꾸고 얼마나 많은 말을했는지 고객은 iPhone을 구입하고 좋아했지만 배달이 싫었습니다 지혜로운 말로 트위터에 분노를 터뜨렸다

이제 가장 먼저 Twitter와 같은 출처에서 오는 데이터 및 귀하의 다른 소스 센서, 클라우드의 네트워크 로그 따라서 생성되는이 deta는 실제로 정말 거대하고 전통적인 데이터베이스 시스템에 잘 들어 가지 않을 것입니다 그래서 마이클은 여기에 질문이 있습니다 그는 Big Data에 대해 이야기하고 있습니까? 예 마이클 당신은 절대적으로 옳다 따라서이 엄청난 양의 데이터가 다른 출처와 다른 형식으로 존재하는 것은 귀하의 빅 데이터 (Big Data)와 우리는이 큰 데이터를 저장하고 처리하기 위해 새로운 것을 필요로합니다

그래서 그것이 우리가 다른 시스템을 도입하기로 결정한 곳이며 시스템은 Hadoop은 이제 Hadoop을 다음과 같이 생각합니다 매우 큰 데이터웨어 하우스로서의 매우 원유가 많은 조잡한 방식으로 데이터를 가져올 수 있습니다 어디서나 쉽게 단일 마스터를 호스트 할 수 있으며 이론적으로 수십 개의 수천 개의 노드 또한 두 가지 서비스를 제공합니다 저장소 및 프로세스이므로이 사람 전통적인 데이터베이스 및 기타 소스에서도 데이터를 가져올 수 있습니다

이제이 사람 데이터를 저장하고 데이터를 처리 할 수 ​​있습니다 하둡을 누군가로 생각하십시오 일반적으로 많은 데이터를 저장하고 처리하기 위해웨어 하우스를 보완합니다 이제 최종 처리가 완료된 후에 데이터를 저장하고 처리합니다 그 마지막 물건을 창고에 넣을 수 있습니다

분석 도구를 사용하면보고 도구에 직접 연결할 수 있습니다 또한 가능한 사람들은 당신의 패턴을 기반으로 당신이 정말로 당신이 무엇을 선택할 수 있습니다 Hadoop의 아이디어입니다 그래서 모든 데이터를 한 곳에서 처리하고 처리합니다 웨어 하우스에로드하거나 직접보고 도구에 연결할 수 있습니다

이 인스턴스를 오라클에로드하면 다른 인스턴스가됩니다 추천 엔진 그래서 우리가 가진 모든 근원에서 이런 식으로 생각하십시오 우리는 아이폰을 사는 사람들의 85 %가 스크린을 원한다는 것을 알았습니다 경비원과 아이폰을 사는 81 명도 뒤 표지를 샀다

이제 한 번 우리는 Hadoop 내에서 이것을 배울 수 있습니다 Oracle에 다시로드 할 수 있으며 다음 고객이 우리 전자 상거래 사이트에 오면 언제든지 iPhone을 구입하여 스크린 가드와 백 커버를 구입하여 Hadoop을 생각해보십시오 매우 큰 데이터 저장소로 데이터를 저장하고 데이터를 처리 한 다음 당신이 좋아하는 방식으로 그것을 사용할 수 있습니다 그래서 저는 Hadoop이하는 일에 대해 모든 사람들이 분명히 희망하기를 바랍니다

그러니 내가 앞으로 나아갈 수 있도록 빨리 확인해주세요 좋아, 램이 분명하다는 것도 확인해 줬어 앤도 마찬가지야 좋아, 모두의 것 같아 좋은

이제 사람들은 하둡의 스토리지 및 프로세싱 부분을 이해하게 될 것입니다 하지만 프로세스의 이름을 거치지 않고 우리가 전체 이해를 가질 것이기 때문에 작은 이야기 그래서 이것은 타마 컨설팅 서비스의 CEO 인 카일 라쉬 (Kailash) 전 세계 150여 개 국가와 지역에 회사가 있습니다 회사를 사랑했습니다 그래서 어제이 회사의 페이스 북 페이지는 10 억 좋아, 이제는 CEO가 거대한 대시 보드를 만들고 싶어

전체 지구본 및 각 국가의 마우스를 가져다 대면 얼마나 많은 사람들이 좋아하는지 표시합니다 그 나라 이제이 작업은 프로젝트 인 Ajay에게 할당됩니다 그는 4 일 동안 대시 보드를 만들 예정입니다 이제하자

Ajay가 이것을 위해 Hadoop을 사용하려고하며 Ajay가 두 팀원을 보유하고 있음을 확인하십시오 MrAdmin과 Mr Developer 이제 Ajay가 말합니다

MrAdmin 하둡 클러스터를 설정하고 개발자에게 알려줍니다 그가 대시 보드 전체를 개발하기로되어 있다고 들어 보았습니다 지금 당장 일어난다 그래서 첫 번째 관리자가 오면 그는 5 대의 기계를 구입하고 하나는 마스터되고 4 명은 노예가 될 것이라고 결정합니다

그래서 Mr Mr 관리자 가 작동하게되었고 그는 하나의 마스터와 4- 노드가있는 5 노드 클러스터를 설정하고 있습니다 노예와 하둡은 모두 저장과 가공에 관한 것입니다 저장소 마스터라는 누군가를 설치하고 마스터에 다시 설치합니다

처리 마스터를 설치합니다 이제 그는 노예에 스토리지 노예와 슬레이브를 처리하여 모든 노예에게이 작업을 수행합니다 이제 관리자가 제프 보스에게 알려줍니다 설정이 진행되고 데이터를 수집하고 프로그램을 작성합니다 이제 Ajay가 호출합니다

개발자 Mr 그리고 Mr 개발자는 계속해서 데이터를로드하고 코드 그래서 개발자는 페이스 북이 JSON으로 파일 크기는 약 640MB입니다 따라서 저장소 마스터에 파일을 쓸 때 실제로 128 MB의 블록으로 세분화됩니다

따라서 640을 128로 나눈 값은 5 블록을 의미합니다 각 블록은 세 번 복제됩니다 그래서 그것이 15 블럭이됩니다 좋아요 Deepak의 질문이 있습니다

그는 왜 블록이 세 번 복제되었는지 묻습니다 좋은 질문입니다 그래서 우리는 실제로 결함의 개념을 가지고 있습니다 Hadoop의 내성 원래 블록이 손상 되더라도 블록을 두 개 더 복사하면 데이터를 검색 할 수 있으며 이것이 Hadoop을 만듭니다 신뢰할 수 있습니다 그래서 당신 질문 인 Deepak에 대답합니까? 좋아, 디팍이 좋다

이제 원본 파일의이 15 개의 블록이 서로 다른 슬레이브 노드가 있으므로이 블로그 중 네 개가 첫 번째 노드에 저장되어 있다고 가정 해 보겠습니다 노예 두 번째 노예는 4 명, 세 번째 슬리브는 4 명, 두 번째 및 세 명은 마지막 것 이제 데이터가 준비되었습니다 그것은 이미 블록으로 분해되었지만 스토리지 마스터의 경우 메타 데이터 만 갖게됩니다

그래서 메타 데이터는 다음과 같이 보입니다 이제 FacebookJSON은 1 2 3 4 5 차단하고 블록 1은 슬레이브 1 2에 있습니다 세 개, 두 번째 블록은 두 번째 세 번째 블록과 네 번째 블록에 있습니다 무엇이 메타 데이터에 저장되어 있는지

스토리지 마스터에는 아무런 문제가 없습니다 마스터는 메타 데이터 만 저장하고 전체 데이터는 저장하지 않기 때문입니다 지금 그 이유 때문에 메모리가 아무리 큰 파일 일지라도 문제가되지는 않습니다 당신은 메타 데이터에 대해서만 이름 노드의 메모리를 사용하지만 원본 데이터 실제로 슬리브에 기록됩니다 아줌마들, 너에게 단순하게 해줄거야

예를 들어, 우리가 볼 수있는 것은 프로젝트 관리자입니다 이 팀은 이제 프로젝트 관리자가 사람들이하는 일이 무엇인지 알지만 모든 작업이 실제로 슬레이브에 의해 수행되므로 관리자가 병목 현상이없는 것입니다 여기에 어떤 데이터가 어디에 저장되어 있는지 알 수있는 능력도 없습니다 어느 매니저가 아무 것도하지 않는 곳에서 실행중인 작업 메타 데이터 이제 좋아요 데이터가 저장되면 데이터가 표시됩니다

그것을 저장 영역에 썼고 모든 데이터가 퍼져 나갔다 이제는 개발자가 앞서 가서 프로그램을 쓴다 국가 별 좋아요 수를 찾으려면 프로그램 이름이 Java 프로그램 이제이 Java 프로그램이 제출되어 처리 마스터가됩니다 모든 컴퓨터에이 코드를 복사합니다 이제 마스터는 기본적으로 알맞을 것입니다

너 네 개의 슬리브가 하나의 블록을 처리하고 두 개의 블록을 처리합니다 너에게 노예가 너에게 노예가 너를 노예처럼 너에게 처리 블록 3 세 및 프로세스 블록 네 당신과 노예에 대한 로컬 프로세스입니다 당신에게 국부적으로 싸우는 블록 싸움은 당신의 사업을 국부적으로 네트워크와 작업이 완료되어야하고 최종 출력을 얻을 수 있습니다 보고 도구에 직접 표시하거나 창고 및 분석 기능을 수행하므로 Hadoop이 실제로 이러한 방식으로 작동합니다 지금 Hadoop입니다

이제 지금까지 우리는 hulu가 두 가지 서비스를 제공한다는 것을 알았습니다 프로세싱을 제공하여 스토리지를 제공하는 팀을 HDFS라고하며 팀 이것이 MapReduce를 마스터 처리하기 때문에 다시 처리 할 수 ​​있습니다 마스터와 HDFS가 이름 노드로 호출되고 슬리브가 다음과 같이 호출됩니다 MapReduce의 데이터 노드는 마스터가 작업 추적자로 불리고 슬리브가 tasktracker 간단한 물건으로 불리는 삶은 여기에 매우 쉽습니다 이제이 특별한 설정에는 당신이 쓸 수있는 매우 심각한 제한이있었습니다 MapReduce의 프로그램을 좋아하든 좋아하든 쓸 수 있습니다

프로그램 만 MapReduce 또는 MapReduce에서 실행되는 다른 프레임 워크이지만 다른 것을 가질 수 있으므로 간단한 예를 들어 봅시다 내가 평신도라는 것을 보자 적절한 리 남자처럼 지금 내 아이폰 나쁜 나무에 문제가있다 그래서 난 그냥 새 배터리를 구입하고 내 아이폰에 넣어 그래서 정상적인 사람이 들어갈 수 있습니다 상점과 아이폰을위한 배터리를 구입 분명히 옳지 않아 이것은 애플은 당신이 내 전화기를 사용하고 싶다면 내 전화기 만 사용해야한다고 말한다 배터리가 마음에 들거나 좋아하지 않는다면 배터리와 플러그를 구입할 수 없습니다 당신이 Hadoop을 사용하고 싶었던 것과 매우 비슷하게 전화에 넣었습니다

친구는 그것을 사용하지만 당신은 Maya에서 자신을 표현해야합니다 이는 매우 심각한 한계이며, 이것이 하둡 (Hadoop) 원 포인트로 불리는 이유입니다 X하지만 당신이 정말로 원했던 것이 더 나은 것이 었습니다 그래서 우리는 거기에 MapReduce 대신 저장소가 있지만 다른 버전의 Hadoop 리소스 관리자와 노드 인 새로운 구성 요소 충돌이었습니다 매니저가 지금 원사가 어디에서 할 것인가? 나는 누구에게나 자원을 줄 것이다 MapReduce plunk or storm 하둡 (Hadoop)의 한 지점에서 MapReduce가 유일한 주일뿐입니다

Hadoop에서 MapReduce가 X를 가리키고있는 방법 중 하나입니다 이것을 Hadoop의 한 지점에 집중하십시오 X MapReduce만이 유일합니다 우리는 Hadoop에서 두 포인트 X MapReduce를 사용하는 방법 중 하나입니다 모든 약 2 점 X와 우리는 전혀 한 점 X에 대해 논의하지 않을 것입니다

내가 IX의 한 가지 점을 설명한 이유는 내가 좋은 것을 설명 할 수 있기 때문이다 우리가 나쁜 건강을 설명하고있는 건강은 아마 그렇게 힘들어 질 것입니다 마찬가지로 X 점을 설명해야만한다면 먼저 X 점 하나를 보여 주어야합니다 저기서의 심각한 한계와 그것이 내가 두 점 X를 가져올 때입니다 두 포인트 X는 기본적으로 귀하의 성별 주름 소스 관리자입니다 리소스가 필요한 모든 사람들이 리소스를 제공하므로 X를 실제로 가리키는 방법 인 작업을 수행하십시오

이제는 Hadoop의 처리 능력으로 X를 가리키며 여기서 Y는 마스터를 나타냅니다 자원 관리자라고 불리는 우리는 또한 잠자기 상태에서 전자를 가지고있어서 내 기억 장치 층이 남아있다 DITA를 쓰고 처리 한 것과 거의 같지만 일을 제출하면됩니다 Yancy에게 Yancy에게 안녕하세요, MapReduce를 실행하는 방법을 모르겠지만 앱 마스터로 불리는 사람이 나를 위해 MapReduce를 할 수 있으므로 리소스입니다 매니저 나는 사람들에게 자원을 제공한다

나는 어떻게 처리해야할지 모르지만 나는 앱 마스터로 불리는 다른 사람을 알면 그는 그 일을 할 것입니다 이제 얀은 이제 누군가가 잠자기 할 때 앱 마스터를 초기화 할 것입니다이 앱 마스터는 다음과 같습니다 기본적으로 처리되는 사람은 일을 할 것이므로 누가 그 일에 책임이 있는가? 그것은 앱 마스터들입니다 그래서 얀 마스터는 헤이 앱 마스터를 봅니다

나는 당신을 위해 새로운 직업을 가지고 있습니다 왜 그렇게하지 않는가? 지금은 앱 마스터가 좋다 Gurion 마스터 NC 보스 당신이 나를 위해 일을하고 싶다면 나에게 다음과 같은 것들을주세요 그래서 슬리브에 두 자원을 하나 소매에 하나의 자원을 두 자원에 슬리브 3 개 및 슬리브에 하나의 리소스가있는 이유는 데이터 지역이 중요한 것은 마스터에게 보이고, 알았어 리소스와 마스터를 가져 가라 전진 할 수 있고 모든 곳에서 일을 해낼 수 있습니다

그래서 여기의 아이디어는 실 마스터입니다 이것이 자원을 제공하는 직업을해라 그래서 이것은 당신을위한 원사이다 이 모든 세부 묘사가 한 점에서 중요하다면 더 많은 것 X MapReduce는 두 점 X에서 유일한 방법입니다 Maya는 그 중 하나를 생산합니다

그렇다면 왜 그렇습니까? 인생에서 더 많은 옵션이 필요하기 때문에 우리는 두 점 X에 가야합니다 그 사람들처럼 나는 아주 간단한 예를 들어 줄 것이다 그래서 이것은 회사라고 불린다 발 팬더 그래서 음식 팬더는 지금 당신을 위해 발 배달을하는 회사입니다 당신은 피자 헛 (Pizza Hut)에 전화를 걸 수 있습니다 당신은 정말 좋아하는 나머지 서랍에서 주문할 수 있습니다

발 바지 레슨을 보는 방법 나는 발을 들이지 않지만 항상 음식을 제공 할 수 있습니다 사람들에게 서비스를 제공하여 원하는대로 주문할 수 있습니다 Hadoop의 전체 풍경과 건축 작업에 대한 설명 관점은 회의에 참석해 주셔서 감사합니다 다음 수업에서 영화 보러 주셔서 감사합니다 질문이 있으시면 아래에 답변 해 주시면 최대한 빨리 답변 해 드리겠습니다

가능하면 텔레 패스 채널에 가입하여 계속 유지할 수 있습니다 당신은 또한 갈 수있는 최신 기술에 대한 자신의 업데이트 기타 관련 미리보기 및 oculus 및 자세한 내용은 당사 웹 사이트를 방문하십시오 계속해서 학습을 향상시킨다 오

SAP HANA Training | SAP HANA Tutorial For Beginners | SAP HANA Architecture | Intellipaat

안녕하세요 다른 동영상으로 돌아 오신 것을 환영합니다

Intellipaat 오늘의 비디오에서 우리는 SAP HANA 이 비디오의 의제는 다음과 같습니다 1 SAP HANA 란 무엇입니까? 2 SAP HANA 고유 기능은 무엇입니까? 3

Sapa HANA 대 전통적인 데이터베이스 4 SAP HANA는 어디에서 사용할 수 있습니까? 5SAP HANA 유스 케이스 6 SAP 한나 채용 동향 SAP HANA는 정확히 무엇입니까? SAP HANA는 선도적 인 기술로 진화하고 있습니다 플랫폼을 제공합니다

이 통합 된 IT 시스템은 서버에서 실행되며 실시간으로 데이터를 처리하여 운영을 제공합니다 텍스트 분석 및 예측 분석과 같은 통찰력 SAP HANA는 또한 분석 된 데이터를 시각화하는 기능을 제공합니다 SAP는 재무 분석에서 제품에 이르기까지 모든 것을 수행하는 애플리케이션 제품군을 보유하고 있습니다 개발이지만 IT 부서는 특정 목표를 염두에두고 자체적으로 만들 수도 있습니다

그래서 그것을 탐험 해 봅시다 우리가 MS-SQL을 서버는 전통적인 RDBMS 데이터베이스이므로, 주요 구성 요소는 다음과 같습니다 CPU, RAM 및 디스크 Customer_Name의 4 개 열로 된 20 억 개의 데이터를 포함하는 테이블이 있고, 제품 _ 이름, 수량 및 금액 전통적인 RDBMS에서이 테이블은 디스크에 위치 할 것이고 데이터는 저장 될 것입니다 파일 시스템 형식의 형태로

이제 비즈니스가 상위 50 위 고객을 확보해야한다는 요구 사항이 있다고 가정 해보십시오 그들에게 할인 쿠폰을 제공합니다 정기적 인 RDBMS 서비스에서이 쿼리를 해결하기 위해 첫 번째 CPU가 쿼리를 트리거하고 그것을 RAM에 전달하여 데이터를 CPU로 가져옵니다 그러면 CPU가 디스크에 요청을 보냅니다 디스크는 모든 20 억 데이터 레코드를 검색하고 결과를 배치 단위로 RAM에 보냅니다

그러면 RAM이 결과를 CPU에 전달합니다 이 20 억 개의 데이터를 처리하는 데 얼마나 많은 시간이 걸릴지 알고 있습니까? 이 간단한 쿼리를 실행합니다 약 1 ~ 2 시간 그러나 SAP HANA에서 동일한 테이블 및 동일한 데이터를 가진 동일한 쿼리를 실행하면 약 1 ~ 2 초 아시나요, 왜 SAP HANA에서 성능 향상이 그렇게 많이 일어나고 있는지 알고 계십니까? 디자인 덕분입니다

SAP HANA는 인 메모리 컴퓨팅 엔진, 열 기반 데이터 저장소, 대규모 병렬 처리 데이터 고성능을 제공하는 데이터 압축 복잡한 데이터 저장소의 실시간 컴퓨팅 분석 따라서이 모든 기능에 대해 자세히 논의 할 수 있습니다 이 예에서 실행하는 것으로 보았 듯이 약 1-2 시간이 걸렸습니다 높은 컴퓨팅 장치가있는 경우에도 약 45 분이 소요됩니다 1 시간 이는 쿼리 실행에 소요되는 시간의 90 %가 읽기, 페치 기기 간 통신 및 처리 및 프리젠 테이션에 소요 된 시간은 불과 10 %였습니다

데이터 그리고 여기에서 각 행과 열을 스캔해야합니다 그래서이 문제를 극복하기 위해 SAP HANA의 설계가 변경되었으며 In Memory 플랫폼을 기반으로합니다 여기서 디스크는 RAM 내부에 배치되므로 20 억 데이터 특수 설계된 RAM에서 사용할 수 있으며 특수 설계된 통합 CPU 따라서 쿼리가 SAP HANA 상자에서 실행되면 RAM 내부에서 실행되므로 디스크와 같은 장치 간의 통신에 소모되는 시간을 피할 수 있습니다

및 데이터는 모두 RAM 내부에서 사용할 수 있으며 특수 설계된 통합형 CPU는 RAM과 CPU 사이에서 너무 많은 시간을 소비하므로 무시할 수 있습니다 그리고 모든 데이터가 RAM 내부에서 사용 가능하므로 처리 및 실행 쿼리가 매우 빠릅니다 따라서이 메모리 내 데이터베이스는 왜 메모리 내 데이터베이스에 완전한 향상이 있는지 이유 중 하나입니다 SAP HANA의 성능 이제 Disk가 왜 필요한지 궁금 할 것입니다

우리가 알고 있듯이, RAM은 비 휘발성 메모리로, 전원이 차단되면 아무 것도 의미하지 않습니다 "RAM"에 포함 된 데이터가 손실됩니다 따라서 우리가 가지고있는 데이터의 백업을 원한다면 디스크를 얻고 전원이 다시 공급되면 데이터가 RAM에 다시로드되고 처리가 수행 될 수 있습니다 이제 다른 기능을 살펴 보겠습니다 SAP HANA, 즉 Columnar Database의 성능을 향상시킵니다

데이터에서 알 수 있듯이 파일 시스템 형식의 형식으로 저장되지만 여기서 칼럼 형식 데이터베이스에는 "데이터"가 저장됩니다 행 대신 열 이유를 이해합시다 여기서 우리는 동일한 20 억 테이블 데이터와 전체 데이터베이스를 취할 것입니다 크기는 약 10GB입니다

행 저장 개념에서와 같이 CPU 연속 메모리 위치에 저장됩니다 John / Pen / 1 / 10 그러면 두 번째 행이 계속됩니다 마지막 행이 저장 될 때까지 Mary / Pencil / 2 / 20 등 또한 SAP HANA에서는 테이블 레코드를 열 순서로 저장합니다 열의 엔트리는 John, Mary, 하나의 파일에, Pen, Pencil 등등 다른 파일에 있습니다

더 명확하게하기 위해 먼저 Get Top Top 50에 대한 쿼리가 있다고 가정 해 봅시다 Customer_Name 및 Amount 열만 필요한 고객 행 저장소 개념에서는 첫 번째 행, 첫 번째 열 매 20 억 개의 모든 레코드에 매번 하나씩 데이터베이스 10GB 여기에 우리가 제품 이름과 수량 열을 스캔하고 싶지는 않지만 여전히 스캔 모든 데이터에서 일어나고 있습니다 데이터를 저장하는 SAP HANA에서 동일한 쿼리를 수행하는 경우 여기서 열 데이터는 다른 파일로 분리됩니다

따라서 Customer_Name 열 파일 및 Amount 열만 처리합니다 파일 전통적인 RDBMS에서 전체 테이블을 스캔했는데 이는 SAP에서와 같이 완전한 10GB 데이터베이스를 의미합니다 HANA는 4GB 데이터를 읽을 수있는 열을 2 개만 읽습니다

57 % 증가하고 쿼리 성능이 최대 5 배 향상되었습니다 이제 우리는 또 다른 중요한 기능을 살펴볼 것입니다 데이터의 방대한 병렬 처리입니다 SAP HANA를 사용하면 여러 데이터를 병렬로 지원하므로 여러 데이터를 처리 할 수 ​​있습니다 처리는 효과적인 데이터 분석의 중심입니다

SAP HANA는 수행 할 수있는 것을 활용하여 원주 형 데이터 저장을 지원합니다 인접한 메모리 위치에있는 배열의 루프에서 다양한 작업을 수행 할 수 있습니다 특정 레코드를 검색하고 데이터를 결합하는 등의 작업을 수행합니다 예를 들어, 카드를 분류 할 카드가있는 바구니를 받았다고 가정 해 봅시다 양복들

혼자서이 GROUP BY 수트 쿼리에 응답하는 데 1 시간 정도 걸릴 수 있습니다 바구니를 4 등분으로 나누어 카드를 배포 한 경우 4 명에게 바구니를 나누기 위해 쿼리에 15 분과 1 분이 소요될 수 있습니다 분을 눌러 병합합니다 바구니의 크기가 두 배로 늘어나면 쿼리 시간은 30 분 플러스가됩니다 사람 수가 많아지면 15 분 내에 응답을 유지할 수 있습니다

즉, 병렬 처리의 수준은 직접적이고 즉각적인 방법 마찬가지로 4 분이 걸리는 쿼리를 실행하려면 하나의 프로세서이지만 4 개의 프로세서를 사용하여 완료하는 데 단 1 분이 소요됩니다 둘 이상의 열을 검색하여 병렬 처리로 결합하는 것도 고려할 수 있습니다 컬럼은 공정 속도를 높이고 운반하기 위해 여러 부분으로 나뉘어져있다 한 열에서 병렬로 작업을 수행하면 각 열은 다양한 프로세서 코어

SAP HANA의 다음 중요한 기능 데이터 압축입니다 정규 RDBMS에 20 억 개의 레코드 데이터 세트 테이블을 저장할 때 크기가 어떻게됩니까? 대략 10 GB 정도가되어야합니다 동일한 데이터 세트로 동일한 테이블을 저장할 때 SAP HANA에서 약 1GB가 될 것입니다 왜 이것이 10 % 원래 금액 SAP가 일반 RDBMS에서 SAP HANA 데이터베이스로 데이터를 이동할 때마다 데이터 압축은 서로 다른 압축 기술을 사용하여 이루어지며 원래 데이터의 약 7 %에서 10 %로 줄어들 것입니다

10GB 데이터는 약 압축됩니다 ~ 1GB 실시간 시나리오 에서처럼 테라 바이트와 페타 바이트로 엄청난 양의 데이터가있을 것입니다 SAP HANA는 특별한 기업이므로이 테라 바이트와 페타 바이트의 데이터를 SAP HANA에 넣을 수는 없습니다 설계된 하드웨어이므로 일반 메모리보다 비쌉니다

개념 우리는 모든 데이터를 RAM에 저장해야하므로 여기 테라 바이트가 필요한 모든 데이터를 저장해야합니다 매우 비쌀 페타 바이트 RAM이 필요합니다 SAP가 10GB의 데이터 압축 기능을 추가 한 이유 다양한 압축 기술을 통해 구현됩니다 그 중 중요한 기술 중 하나가 사전 인코딩입니다 FirstName 열이 있고 우리가 정의한 테이블을 생각해 봅시다

이 테이블은 varchar (50)입니다 즉, 각 행의 첫 번째 이름에 대해 50자를 예약한다는 의미입니다 기존 RDBMS에서 1 천만 행의 데이터를 50 문자를 예약합니다 1 천만 번, 2 천분의 1 비트로 50 비트로 디스크의이 공간을 차지합니다 SAP HANA에 동일한 열을 넣으면 SAP HANA가 동일한 열을 나눕니다

첫 번째 열 데이터 형식이 정수이고 다른 열의 데이터 형식이 정수가 될 2 열로 Varchar의 데이터 유형이 50입니다 여기서 Varchar 50은 연구에서와 마찬가지로 이름의 고유 한 가치를 포함합니다 이름의 10 % 만 별개이고 다른 하나는 동일하다는 것을 의미합니다 1 천만 건의 데이터 중에서 Varchar에 저장되는 고유 한 이름은 백만 가지입니다 열에 다른 위치에 메모리 위치가 있습니다

우리가 FirstName 메모리 위치 테이블에서 볼 수 있듯이, John 메모리 위치 23 일, Mary 메모리 위치는 45이고 Peter 메모리 위치는 60이므로 정수 테이블 요한에게는 1, 23은 마리아, 23은 요한, 26은 피터 등입니다 그래서 여기에 우리의 천만 가지 레코드가 정수 형태와 1 백만 가지 형태로 저장됩니다 이름 그래서 우리가 정수 값으로 계산하는 경우 2 바이트를 포함하므로 4 비트를 의미합니다 10 만, varchar 열에는 1 백만 데이터가 있습니다

이는 1을 의미합니다 50 만분의 2 비트로 즉, 정규 RDBMS에서 총 1 억 비트의 데이터가 있음을 의미합니다 SAP HANA에서는 4 백만 비트의 데이터와 1 억 데이터의 비트가 합계로 10400 만 비트이므로 1000을 비교할 때 백만 비트가 1 억 4 백만 비트이므로 원본의 약 10 %입니다 데이터 이제 SAP HANA가 어떻게 다른지 살펴 보겠습니다

전통적인 데이터베이스에서? 우리는 비즈니스에서 모든 것을 알고 있습니다 Suite는 ERP, CRM 및 SCM과 같은 완전히 통합 된 응용 프로그램 세트로 기업 핵심 비즈니스 기능을 실행합니다 여기에 모든 작업 응용 프로그램이 여기에 통합되어 있으며 이러한 모든 응용 프로그램이 생성됩니다 많은 데이터와이 데이터에 대한 액세스 권한은 쉽지 않으므로 ETL을 추출하고 변환 및로드 도구를 사용하여이 데이터를 다른 데이터베이스로 이동하고이 데이터베이스를 호출합니다 ODS – 운영 데이터 저장소로

이제 우리의 모든 데이터가 ODS로 옮겨져 영향을주지 않고 모든 데이터를 평가할 수 있습니다 우리의 비즈니스 스위트 좋습니다 이제 문제는 데이터 저장소에서 우리는 많은 정보를 갖고 싶어하지 않는다는 것입니다 모든 세부 정보를 확인하십시오

아마도 몇 년 또는 다른 치수 이제이 데이터를 요약 할 수있는 무언가가 필요합니다 집계 집계를 통해 요약 정보에 액세스 할 수 있습니다 그러나 빠른 액세스를 위해 많은 집계를 가질 가능성이 높습니다

우리는 Indexes를 구축해야하지만, 여전히 우리는 데이터에 없기 때문에 복잡한 키 성능을 정의해야하므로 복잡한 계산 이러한 계산은 핵심 성과 지표를 정의하는 데 도움이됩니다 이제 데이터웨어 하우스를 실행할 준비가되었습니다 아래의 모든 내용을 통해 우리는 매우 큰 큐브를 구성하여 데이터를 저장하고 그것은 데이터웨어 하우스 또는 비즈니스웨어 하우스입니다 그러나 문제는 우리 부서가 다르다는 것입니다

다른 사람과 HR은 다른 사람과 함께 사용하므로 사용자 정의 데이터를 빌드해야합니다 데이터 마트 여기에 더 큰 큐브에서 더 작은 큐브를 만듭니다 이를 통해 우리는 서로 다른 보고서를 사용할 수 있다는 보고서를 작성할 준비가되었습니다 tableau, SAP Business Objects, Pantaho 등과 같은 도구를 사용하여 대시 보드를 만들 수 있습니다

통찰력을 봐 멋지다! 환경에 훌륭한 도구가 있지만이 설정의 문제는 다른 비즈니스 스위트를 추가하려는 것처럼 요구 사항에서 변경이 발생하거나 우리는 스택에서 무엇이든지 바뀌 었습니다 무슨 일이 일어 났는지 보죠? 완전한 환경은 붕괴 될 것입니다 이것은 전체 환경이 충분히 강하지 않았기 때문에 일어 났으며 그 이유는 비록 우리가 좋은 도구를 가지고 있음에도 불구하고 너무 복잡했다 그러나 우리는 그것을 유지할 수 없다

기업들은 위기에 처할 것입니다 이 문제를 극복하기 위해 SAP HANA를 사용할 수 있습니다 따라서 SAP HANA의 작동 방식은 다음과 같습니다 비즈니스 응용 프로그램 및 Business Suite에 대해 알고있는 것처럼 우리가 Business Client를 가지고 있다는 것에 대한 트랜잭션 및 운영 데이터 Business Suite에 액세스 할 수 있습니다 이제는 SAP HANA 플랫폼이 그림으로 나오고 우리는 다음으로 설정했습니다

비즈니스 스위트 이를 통해 비즈니스 스위트에서 전환 데이터를 선택할 것입니다 실시간으로 기본으로 SAP HANA 플랫폼으로 복사하므로 동일한 테이블 복제 세트를 갖게됩니다 비즈니스 스위트와 SAP HANA 모두에서 이를 통해 수익성과 같은 일부 전환을 가속화 할 수 있습니다 분석 (CO-PA) 또는 재무 회계 (FI-CO)를 사용하여이를 액셀러레이터라고합니다 SAP HANA의 빠른 시작입니다

필요할 때마다 액셀러레이터를 전환 할 수 있습니다 SAP HANA에서는 가속기를 사용하여 필요한 정보를 복사합니다 Accelerator는 필요시 SAP Hana 플랫폼으로 전환을 리디렉션합니다 가속화 된 방식으로 SAP HANA 플랫폼에서 얻을 수있는 흥미로운 점 중 하나는 SAP HANA 플랫폼 상단에 필요할 때 언제든지보고 할 수 있습니다 우리는 Accelerator를 보유하고 있으므로 언제든지 신속하게보고 할 수 있습니다

여기서 더 나아갈 수 있습니다 데이터웨어 하우스가 전통적인 시스템 우리가 그걸 어떻게해야합니까? 여기서는 SAP HANA 플랫폼에서 실행하고 밑줄을 긋습니다 데이터웨어 하우스는 SAP HANA 플랫폼이됩니다 이제 데이터웨어 하우스 / 비즈니스웨어 하우스가 SAP HANA 플랫폼에서 실행되고 있으며 SAP HANA 플랫폼에서 비즈니스 스위트를 실행할 수 있습니다

그리고이 설정의 가장 중요한 부분은 우리가 직접 실행할 수 있다는 것입니다 비즈니스 클라이언트는 SAP HANA 플랫폼의 상단에 있습니다 따라서 모든 트랜잭션은 SAP HANA 플랫폼에서 원활하게 실행되며 쉽게 실행할 수 있습니다 SAP HANA 플랫폼에 대한보고 또한 사전 데이터 마이닝을위한 기능을 제공하며 예측 적 알고리즘을 SAP HANA 플랫폼 위에 추가합니다

이는 SAP HANA가 메모리에 있음을 보여 주지만 병렬 처리도 제공하므로 SAP HANA 플랫폼에서 모든 복잡한 알고리즘을 직접 실행할 수 있습니다 또한 최상위 SAP HANA 플랫폼에서 <Click Event> 모바일 애플리케이션을 구축 할 수 있습니다 우리의 데이터에 신속하게 액세스하십시오 특정 산업 응용 프로그램 SAP HANA 플랫폼의 최상위에서 실행할 수도 있습니다 SAP HANA는 어디에서 사용할 수 있습니까? 어디서나 많은 양의 데이터 SAP HANA를 구현할 수 있습니다

일부 지역은 항공 우주, 국방, 자동차, 금융, 소매, 건강 관리, 통신, 보험과 더 많은 데이터 사용이 실시간 경험을 필요로하는 모든 기능 영역에 적용 가능합니다 이제 우리는 유명한 용도 중 하나를 살펴볼 것입니다 SAP HANA의 경우 아시나요,보다 폰은 세계에서 가장 약 30 개국에서 운영되는 최대 통신 회사 및 네트워크 파트너 50 개 이상의 국가에서 모바일, 유선 및 광대역 서비스를 제공합니다

경쟁 증가 및 통신 환경의 악화로 매출이 감소했습니다 및 마진 이 시장에서 경쟁하기위한 노력의 일환으로 통신 회사들은 관세와 서비스는 물론 더 많은 복잡성과 데이터를 창출한다 따라서 어느 고객과 어떤 관세가 공헌하고 있는지를 판별하는 것이 점차 어려워지고 있습니다 긍정적 또는 부정적으로 어떤 핵심 요소 또는 요소를 차별화하는지 다른 사람들로부터 이 수익 누출은 관세 오용, 고객 할인 쌓기, 수익성에 대한 이해 부족 개인 고객 및 관세에 대한 그러나 SAP HANA를 통해 Vodafone은 여러 데이터 소스의 모든 데이터를 분석 할 수 있습니다 실시간으로 제공되며 위의 문제를 해결할 수있는 솔루션을 제공합니다

Vodafone을 통해 고객 수익성에 대한 상세한 뷰 확보 및 ARPU (Average Revenue Per User) 중요성을 제공하기 위해 신속한 세부 분석 기능 제공 가치를 창출하십시오 Vodafone으로 하여금 수 천만개의 이전에 확인되지 않은 것을 식별 할 수있게 함 수익 누출 모든 사람에 대한 실시간 시각화 및 반복 분석 기능 제공 데이터 (초 / 분 단위가 아닌 주 단위) 수십억의 마진 드라이버 조합 (분 단위 – 현재 현재 불가능 환경에 막대한 투자를하지 않아도됩니다) 비즈니스 프로세스와 적절하게 통합되는 산업별 애플리케이션 이제 SAP의 채용 동향을 살펴 보겠습니다

하나 전문가들은 SAP HANA가 최고를 보장한다고 말합니다 경력 성장 SAP는 HANA를 전체 응용 프로그램의 플랫폼 및 데이터베이스로 출시했습니다 기능을 제공합니다

최근 SAP HANA 경험이있는 지원자는 가장 높은 봉급으로 지급됩니다 SAP Consultants의 평균 급여는 "연간 약 98,541 달러 Enterprise Architect에 대한 SAP 컨설턴트의 연간 136,814 달러 그래서 우리는이 비디오의 끝으로갑니다 여기서는 SAP HANA의 정의와 처리 방법에 대해 알아 보았습니다 실시간 통찰력을 제공하는 실시간 데이터 그런 다음 고유 한 기능과 설계 방법을 살펴 보았습니다

나중에 SAP HANA가 기존 데이터베이스와 어떻게 다른지 살펴 보았습니다 우리는 또한 SAP HANA가 어디에나있는 것을 보았습니다 그런 다음 SAP HANA를 사용하여 Vodafone에서 모든 데이터를 분석하는 방법을 살펴 보았습니다 여러 데이터 소스를 실시간으로 분석하고 문제를 해결할 수있는 솔루션을 제공합니다 그런 다음 SAP HANA의 경력 성장을 살펴 보았습니다

SAP HANA에서 커리어를 가속화하기 위해, Intellipaat에서 SAP HANA 온라인 교육에 가입하십시오 우리는 당신이 배우는 데 도움이되는 최고의 온라인 수업을 제공합니다 : SAP HANA 인 메모리 컴퓨팅, HANA Studio 개발 및 관리, SAP의 데이터 프로비저닝 SAP의 HANA, ABAP 프로그래밍 HANA, SAP HANA 데이터 모델링 고맙습니다!

Chat with Lak Lakshmanan, Technical Lead for Machine Learning and Big Data – Coffee with a Googler

[음악 재생] LAURENCE MORONEY : Lak, Google에 다녀 왔습니다 단지 2 년 동안, 그것은 정말로 나를 놀라게했다

왜냐하면 여기에 온 이후로 너무 많이했기 때문입니다 그러나 여기에 오는 여정에 대해 말해봐 LAK LAKSHMANAN : 실제로 꽤 흥미 롭습니다 내가 Google에 어떻게 가는지 나는 꽤 비 전통적이라고 생각합니다

나는 20 년이 넘는 학계에있었습니다 나는 National Severe Storms에서 일하고 있었다 이 날씨 연구 기관인 실험실 그리고 중년 위기가 닥쳤습니다 그리고 약 4 년 전에 나는 결정했다

기본적으로 결근을 떠나기 위해, 1 년 후에, 아내와 아이들을 데려 오십시오 우리는 시애틀에 왔습니다 우리는 기본적으로 근본적으로 기계를 만든 신생 업체에 합류했습니다 농민을위한 학습 알고리즘 자, 우리는 우리가 어떻게 자기 주행 차를하고 있는지 자랑 스럽습니다 Google 그러나 사람들이 깨닫지 못하는 것은 농업, 적어도 미국에서는 매우 자동화되어 있습니다

많은 데이터가 던져지고 있습니다 콤바인, 트랙터, 모두 GPS 장치가 있습니다 그래서 많은 데이터가 던져지고 있습니다 그리고 그 아이디어는 기본적으로 농부의 생산량을 향상시키는 것입니다 토양 및 날씨와 같은 것을 고려하여 및 유전체학 등

그리고 시작했을 때 일어난 일 매우, 매우, 매우 흥미로웠다 NOAA를 떠나기 직전에 – 나는 NOAA를 떠나고 있다는 것을 깨닫지 못했지만, 나는 그랬다 NOAA를 떠날 때, 기본적으로, 우리는 수년 및 수년간의 레이더 데이터를 처리하기 위해이 프로그램을 구축하십시오 그리고 우리는 돌아가서 15 년간의 데이터를 가져 가자 이 알고리즘을 적용하여 무언가를 만들 수 있습니다

그 위에 그리고 그렇게하기 시작했습니다 그리고 기본적으로 처리하는 데 약 4 년이 걸렸습니다 15 년간의 데이터 LAURENCE MORONEY : 와우

시작 : LAC LAKSHMANAN : 시작하자 우리도 똑같은 일을해야했습니다 우리는 좋은 강우 시스템을 구축해야했습니다 그리고 우리는 현명한 사람들이 아니라는 생각이 들었습니다 우리에게는 아이디어가 없습니다

대신, 우리가 할 일은 우리는 모든 논문을 살펴볼 것입니다 견적을 내기 위해 여러 가지 다른 방법으로 게시되었습니다

강우 그리고 우리는 기본적으로 모든 것을 할 것입니다 그들 앙상블을해라 LAURENCE MORONEY : 좋아 LAK LAKSHMANAN : 그래서 우리가 시작했을 때 무엇을하고 있었습니까? 우리가 본질적으로 제외하고는 우리가 NOAA에서하는 일을 정확하게 수행합니다

이 일은 매 2 주마다 끝났어 LAURENCE MORONEY : 4 년 대신에 LAK LAKSHMANAN : 4 년 대신에 뭐가 달라졌습니까? LAURENCE MORONEY : 우리는 시애틀의 강우 전문가입니다 우리는 전문가예요

네 아마 우리가 시애틀에 있다는 사실 일 겁니다 우리는 강우량을 더 잘하도록 동기를 부여 받았다 그러나 차이점은 우리가 그것을하고 있었다는 것이 었습니다 70 대 기계에 새로운 것에서 거대한 규모로 구름 위에서 그것을하고 있었다

우리는 기계를 살 여유가 없었습니다 그래서 우리는 그들을 임대하고있었습니다 그리고 그것은 내 마음을 불 태웠다 길을 완전히 바꾼다 우리는 4 년이 걸릴 때 데이터를 봅니다

2 주 안에 할 수 있습니다 LAURENCE MORONEY : 당신이 아니기 때문에 기계를 구입하고 소유하고 유지하는 데 부담이되며, 권리? 맞아 따라서 인프라가 훨씬 개선되었습니다 두 번째 측면 – 기계에서 일어난 일을 생각해 보면 2012 년, 2013 년 학습 – CNN이 현장에 폭발했다 그리고 레이다 이미지는 비 전통적인 이미지입니다

하지만 여전히 이미지입니다 LAURENCE MORONEY : 그리고 CNN– 컨벌루션 뉴럴 네트워크 LAK LAKSHMANAN : 길쌈 신경 네트워크 로렌스 모닝 : 뉴스 네트워크가 아닙니다 Lak Laksmanan : 예, 감사합니다

길쌈 신경망 이미지에서 기계 학습에 접근하는 방식을 변경했습니다 우리가 기본적으로 수공예품을 만들 것입니다 이제 우리는 기본적으로 신경 네트워크가 학습 할 수 있습니다 그 자체로 나는이 재밌는 실현을했을 때 나는 Yann에게서이 유명한 그래픽이 있다는 것을 깨달았다

LeCun은 CNN이 계층 적으로 학습하는 방법에 대해 설명합니다 그래서 맨 아래에서, 그것은 단지 색을 배우고, 그 다음에 가장자리 및 질감 등이 있습니다 그리고 제 3 층 어딘가에, 기본적으로 텍스처를 학습합니다 그리고 그것은 저의 PhD 논문이 20 년 전이었던 것입니다 LAURENCE MORONEY : 와우

맞아 손으로 4 년을 보냈습니다 네트워크는 단지 몇 시간 만에 학습합니다 LAURENCE MORONEY : 당신을 어떻게 느끼게할까요? LAK LAKSHMANAN : 그것은 나를 조금 느끼게했습니다 실제로, 구식이 아니라, 오싹 오싹한 – LAURENCE MORONEY : 당신의 일에 대한 옹호이며, 권리? LAK LAKSHMANAN :이 아이디어는 이전에는 그렇게 힘들었지 만, 지금은 쉽다면, 우리는 이제 사물에 집중하기 시작할 수 있습니다

전에는 불가능했던 것 LAURENCE MORONEY : 맞아 LAK LAKSHMANAN : 그것은 스택 위로 움직이는 것입니다 인간도 스택 위로 이동합니다 그래서, 좋아, 어디로 가야합니까? 나에게 2 년 전에 나에게 묻고있는 나

내가 기본적으로 구름을 원한다면 나는 가야합니까? 기계 학습의 최전선에 서고 싶습니까? 그리고 다른 곳은 정말 없습니다 LAURENCE MORONEY : 이제 Google에서 일하고 있습니다 너는 일하고있어 나는 너의 직책을 좋아한다 큰 데이터와 기계로 작업하십시오

학습, 정말 그 중 두 가지를 볼 수있는 좋은 함께 종종 우리는 큰 데이터를보고 기계 학습을 보게됩니다 그리고 그것은 사람들이 기초를 이해하지 못한다고 말합니다 그러나 그들 중 두 명이 연결될 때, 그것은 단지 기초가 오해 받고있다 지금 당신이하고있는 것은 무엇입니까? 맞아

그래서 Google Cloud에서 저는 Professional의 일부입니다 서비스 조직 그래서 우리는 도움이되는 조직입니다 우리 고객은 몇 가지 일을함으로써 클라우드에서 성공할 수 있습니다 우리는 컨설팅을하므로 고객과 함께 일합니다

학생들이 기계 학습의 측면에서, 모델을 구축하는 데 도움이됩니다 물론, 그게 – 당신은 단지 빌드 할 수 없다는 것을 알고 있습니다 모델

아무도 실제 생활에서 깨끗한 데이터 세트를 제공하지 않습니다 LAURENCE MORONEY : 멋지지 않니? 그럴 리 없습니까? 그게 나는 도전적이지 않을 거라고 생각해

매번 아주 깨끗한 데이터 세트가 있다면, 그 시점에는 그곳에 깊이가 없습니다 LAURENCE MORONEY :하지만 도전 할 수는 없었어 가끔씩 그래서 당신들은 데이터 작업을합니다 LAK LAKSHMANAN : 우리는 고객과 함께 일합니다

학생들이 기계 학습 문제를 공식화하도록 돕는다 당신이 실제로 그것을 풀 수있는 그런 식으로, 해결하고 무엇을 알아 내려고 데이터 집합, 수집해야하는 데이터 집합, 우리가 할 수있는 아주 드문 계획, 전략을 생각해 내십시오 들어가서 우리가 해냈지 만 고객이 실제로 디지털 데이터를 가지고있는 곳 그들이 완벽했기 때문에 완벽했습니다 그것에 대한 인간의 분석을하고있다 그리고 우리는 그 주위를 돌아보고, 우리는 알아 낸다 그것을 자동화하는 방법

그러나 그것들은 드문 상황입니다 나는 우리의 약속의 10 % 미만이 그렇게 생각합니다 전문가 서비스가하는 일의 한 부분입니다 컨설팅 측면에서 다른 부분도 제가 열렬히 열정적이에요

우리가 고객에게 어떻게 가르치는 지 배워야한다는 것입니다 구름에 관한 일, 성공하는 법, 그리고 교과 과정, 블로그 게시물 작성, 책 만들기, 샘플을 통해 이러한 동일한 일을 스스로 수행 할 수 있습니다 LAURENCE MORONEY : 그리고 규모를 확장하는 좋은 방법입니다 LAK LAKSHMANAN : 규모를 확장하는 가장 좋은 방법입니다 수백명의 우리 팀이 있기 때문에, 우리는 결코 서비스 조직이 될 수 없다고 생각합니다

우리는 주로 제품 회사입니다 Google은 훌륭한 제품을 만들고 있다고 믿습니다 그 규모는 잘되고, 매우 안정적이며, 그러나 그것은 종종 어느 정도의 고객 전문 기술을 필요로합니다 지식을 활용할 수 있어야합니다 그래서 우리는 우리 제품 사이의이 접착제입니다 팀 및 고객 팀

LAURENCE MORONEY : 고객 교육, 개인 개발자를 교육하는 것, 나는 알고있다 당신이 열정적 인 무엇인가입니다 이 분야에서 당신은 모든 것을 다했습니다 너는 그 동물 책 중 하나를 써 왔어 오라일리

맞아 그리고 그것은 우습다 오라일리의 동물 책이 친절하게 나타났습니다 유기적 인 방식으로 Google Cloud에 가입하여 신속하게 Google이 데이터와 방법에 접근하는 방식을 깨달았습니다 Google은 데이터 처리에 접근했습니다

이전에했던 것과 근본적으로 달랐습니다 참여하기 전에 내가 한 모든 일 나 유닉스 기계에 대해 생각하고 소프트웨어를 설치하고있다 유닉스 시스템에서 처리하고있다 대신 Google은 완전히 이야기하고있었습니다 완벽하게 관리되는 서비스, 코드 만

아이디어는 데이터 담당자로서 코드 작성, 당신은 그것을 시스템에 넘겼습니다 그리고 그것을 당신을 위해 확장했습니다 그리고 그것은 엄청나게 자유 롭습니다 내가 파이썬이나 자바를 쓸 수있는 곳 시스템 내부에 대해 걱정하지 않아도됩니다 그러나 그것은 근본적으로 무엇과 다른가? 나는 전에 알고 있었다

그래서 나는 밖으로 나가서 말했다, 좋아, 나는 내가 아는 모든 것을 다시 배우기 위해 그것을 Google 방식으로 할 수 있습니다 그래서 나는 코드를 썼다 나는 문제를 골랐고, 나는 그것을 따라갈 것이라고 결정했다 [INAUDIBLE]에서부터 실시간 스트리밍 머신까지 학습하고 모든 종류의 방법으로 길을 따라 가라 데이터 과학 접근 방식 – 당신이 할 베이지안 것들, 전통적인 모델로 기계 학습, 넓고 깊은 네트워크로 기계 학습, 전체 세 번

그래서 나는 그 모든 것을했고, 나는 모든 코드를 가지고있었습니다 그리고 파이썬 모임에서 누군가, Lak, 우리 얘기 좀 할 수 있니? 나는 말했다, 좋아, 나는 단지 코드를 걸을 것이다 그리고 나는 그랬다 그래서이 Python 모임에서 코드를 살펴 보았습니다 싱가포르에서

그리고 그것의 끝에서, 만장일치의 피드백 이것이 끝이 났기 때문에 이것은 대단합니다 현실 세계의 예입니다 그것은 코드입니다 우리는 이것으로 더 많은 것을해야합니다 그리고 그 때 제가 O'Reilly에게 연락을해서, 이 코드를 중심으로 책을 포장 할 수 있습니까? LAURENCE MORONEY : 좋았어

LAK LAKSHMANAN : 그건 그렇습니다 그래서 보통 사람들은 책을 쓰고 코드를 씁니다 나는 코드를 썼다 그리고 나는 그 책을 감쌌다 그것은 재미 있습니다

LAURENCE MORONEY : 나 또한 그것을하는 나의 방법이다 내가 책을 쓸 때, 나는 그것을하는 것을 선호한다 나는 몇 가지 시나리오를 생각 해낸다 x, y, z를 어떻게 배울 것 인 지, 그리고 나서 – LAK LAKSHMANAN : 나는 그것을 훨씬 더 현실적으로 유지한다고 생각합니다 LAURENCE MORONEY : 저자도 쉽게 만들 수 있습니다

찾지 못하니? 당연히 LAK LAKSHMANAN입니다 전혀 왜냐하면 당신이 어디로 가고 있는지 정확히 알기 때문에, 당신은 이것이 우리가해야 할 물건이라는 것을 정확히 알고 있습니다 나는 사람들에게 그것이 무엇인지 보여 주어야한다 이것이 내가 그 길을 따라 배운 것입니다

그것을 단어로 넣는 것이 훨씬 쉽습니다 단계별로하는 것이 훨씬 어렵습니다 당신은 소프트웨어 프로젝트가 어디로 가고 있는지 모르기 때문에 너, 특히 소프트웨어를 가져 가라 데이터 분석 또는 기계 학습과 관련된 프로젝트 당신이 대답을 알고 있다면, 당신은 그것을하지 않을 것입니다 LAURENCE MORONEY : 맞아

이제는 책을 넘어서, 당신은 또한 몇 가지 코스를하고 있습니다 Coursera를위한 코스 작성 및 다양한 Google 직원 확보 그들을 위해 총을 쏜다 네 LAKSHMANAN : 네 너를 포함해서, 로렌스

로렌스 모로니 : 보지? 나에 관한 모든것입니다 과정에 대해 알려주세요 그것을 무엇처럼? LAK LAKSHMANAN : 다시 한번이 과정은 실제로 시작되었습니다 고객과의 약속 그리고 우리는 기본적으로 고객과 협력 해 왔습니다

ML 모델을 구축 할 수 있도록 도와줍니다 그리고 본질적으로 우리가 들었던 즉각적인 피드백 그래, 너는 우리를 위해이 모든 것들을 세웠다 그러나 우리는 이것을 어떻게 앞으로 가져갈 것인가? 이것은 단지 하나의 프로젝트입니다 기본적으로 회사 전체를 변화시키고 자합니다 기계 학습

그래서 우리가하고 싶었던 것은 기본적으로, OK, 어떻게 실제로 기계 학습을 실제로 적용합니까? 그리고 당신은 어떻게 인식합니까? 기계 학습 문제 어떻게 공식화합니까? 어떤 윤리적 인 것들은 무엇입니까? 생각 해봐야 할게있어? 그리고 일단 당신이 이것을 결정했다면 당신이 풀고 싶은 문제입니다 그것을 해결하기위한 단계는 무엇입니까? 어떻게 데이터를 가져 옵니까? 지형 공학을 어떻게합니까? 어떤 옵션을 사용할 수 있습니까? 나중에 스트리밍을 어떻게 계획합니까? 그리고 나서 모델을 어떻게 제작에 적용합니까? 네가 들어간 곳은 로렌스 그 중 일부를 제공 해주셔서 대단히 감사합니다 LAURENCE MORONEY : 네, 고마워요

그것은 실제로 내가 배우려는 대상이었습니다 그래서 저는 이것으로 많은 것을 배울 수있었습니다 과정을 어떻게 작성했는지 읽으십시오 그래서 그것은 같았습니다, 예, 이것은 훌륭합니다 그래서 그것은 나를위한 두 번 보너스입니다

그래서 학생들도 그것을 배울 수 있기를 바랍니다 LAK LAKSHMANAN : 나는 감각이 감동 스럽다 우리는 기본적으로 ML을 공식화 할 수있었습니다 정말 정교한 이미지를 구축하는 데 문제가 있습니다 시퀀스 및 추천 모델, 매우 실제적인 측면에서, 그리고 우리가 사용한 코드는 매우 재사용 가능합니다

다양한 고객 참여 우리 고객이 취해서 사용하고 적용한 자신의 필요를 위해 그리고이 과정을하는 과정의 일부 항상 최신 정보를 유지하고 있습니다 최근에는 AutoML 및 BigQuery ML을 발표했습니다 및 Tensor 처리 장치

실제로 돌아가서 과정을 수강하는 것은 재미있었습니다 우리가 이미 쐈다 고 말했어, 알았어, 이제 우리는이 다른 것들을 추가 할 필요가 있습니다 이런 일을하는 더 좋은 방법이 바뀌었기 때문입니다 LAURENCE MORONEY : 네 글쎄, 내가 정말 좋아했던 것들 중 하나 내가 그 물질을 보았을 때 – 학생들이 그 혜택을 누릴 수 있기를 바랍니다

같은 방식으로, 매우 정교한 시나리오 매우 간단하게 설명됩니다 그래서 예를 들어, 분산 학습 – 그것은 같습니다, 글쎄, 우리 모두는 분산 학습이 비슷하다고 생각합니다 글쎄, 한 대의 기계에 던지기보다는, 당신은 기계들을 한꺼번에 던져 버리고 그냥 작동합니다 그러나 당신이 매우 효율적이어서 따라야합니다 당연히 LAK LAKSHMANAN입니다

그래서 여러 대의 기계에 던질 수 있습니다 그러나 당신이 기계의 무리에 그것을 던질 때, 당신이 던질 수있는 다른 방법이 있습니다 모델을 분할하거나 데이터를 분할 할 수 있습니다 그리고 놀랍게도 당신이 선택하는 것은 – 또는 놀랍지 않게 – 얼마나 빨리 기차에 영향을 미치는지, 얼마나 잘 훈련을하는지 그리고 당신은 다른 전략을 선택합니다

다른 유형의 모델의 경우 스파 스 모델은 데이터를 분리하는 경향이 있습니다 너 깊은 모델, 가지고있는 경향이있는 모델들 그래서 그것은 현실 세계의 이러한 모든 종류의 실용적인 것입니다

당신이 원하면 엄지 손가락의 규칙 그러나 이것들은 작동하고 작동하는 것으로 보이는 것들입니다 그리고 우리는 기본적으로 그것을 합성하고, 우리는 – 그것은 기본적으로 우리가 과정에서하는 일입니다 LAURENCE MORONEY : 그래서 누군가를 위해 누가 기계 학습에 들어가기를 원합니까? 처음부터 끝까지, 모든 첫 번째 모델을 만드는 것에서 프로덕션에서 실행하는 방법, 대단한 코스입니다 그러나 그것은 무엇이라고 불 립니까? LAK LAKSHMANAN : GCP에서 기계 학습이라고합니다

그것은 처음 다섯 코스입니다 그리고 Advanced Machine Learning on GCP 그 다음 다섯입니다 그래서 그들을 찾으십시오 cloud

googlecom / training / dataml YouTube 동영상에 링크가 표시되어야합니다 LAURENCE MORONEY : 네 우리는 아래의 설명에 그것들을 넣을 것입니다

고마워요, 락 이것은 아주 재미있었습니다 LAK LAKSHMANAN : 감사합니다 저에게 많은 즐거움을 선사했습니다 로렌스 모로니 : 그리고 고마워, 모두들, "Google 직원이있는 커피"에피소드를 시청했습니다 너는 나를 위해 질문을한다

Lak에 대한 질문이 있으면 아래 코멘트에 남겨주세요 무엇을 하든지 구독 버튼을 누르는 것을 잊지 마십시오 고맙습니다

Accessibility of Big Data Imagery for Next Generation Computer Vision Applications

Sarah Margolis를 소개하게되어 기쁘게 생각합니다 Sarah Margolis는 NOAA 수산업 과학 기술처 (Office of Science and Technology)에서 일하기 시작했습니다

올해는 Knauss Science Fellow였습니다 그녀는 다양한 기술과 관련되어 있습니다 이 프로젝트는 그녀가 배정 된 프로젝트 중 하나입니다 그 큰 데이터 이미지를 만드는 방법을 살펴 봅니다 NOAA뿐만 아니라 기업이 아니라 더 넓은 공동체에 사라가 데모를 할거야

그 틀과 결정의 일부 NOAA Enterprise에 대한 질문을 입력하십시오 물론 결정적인 질문들과 함께 중요한 질문은 우리는 원본과 관련하여 그것을 활용합니다 목표를 어떻게 활용할 것인가? 새로운 도구와 관련하여 온라인으로 올 때 Sarah는 5 년 계획의 시위 오픈 소스 프레임 워크 개발 자동 이미지 작업을위한 도구 상자 해양 응용 분야에 대한 인식 사라를 소개하는 것이 내 기쁨입니다 [박수 갈채] 안녕하세요 NOAA 도서관 및 가정에서 튜닝하는 모든 사람에게 안녕하세요

사무실 또는 웹 세미나 조정 너와 함께 해줘서 고마워 점심 시간 포스트 노동절 나는 희망한다 모두들 멋진 휴가를 보내고있어 저는 NOAA에서 일하는 Knauss 연구원입니다 과학 수산 사무국 고급 샘플링 기술 기술 프로그램과 오늘 나는 그게 뭔지 얘기 해줘

의 삶에서 더 관련성있게 과학자들과 NOAA와 함께 큰 데이터의 아이디어 기술이 더 많은 기능을 향상 시켰습니다 정보를 수집해야하고 우리는 많은 양의 정보 수집 우리는 앞으로 나아갈 방법을 결정할 필요가있다 큰 데이터로 그리고 구체적으로 말하려고합니다 이미지 데이터에 대해 이미지 및 비디오 해양 환경에서 수집 된 우리가해야 할 일에 대해 생각하고 미래 5 ~ 10 년 동안 새로운 기술과 소프트웨어의 라인 컴퓨터 비전 소프트웨어와 같은 우리가 더 쉽게 이용할 수있게되었다 우리의 이미지와 우리의 데이터와 함께 사용 내 이야기로 나는 이야기 할거야

데이터 관리의 세 가지 구성 요소 먼저 이미지를 생각해 보겠습니다 수집 수집의 중요성 이미지와 왜 우리가 그것을하는지 우리가 갖고 싶은 고려 사항 줄까지 내려가는 마음까지 우리의 이미지에 접근 가능하게 함 보유하고있는 저장 용량에 대해 이야기하고 싶습니다 큰 것을 다룰 때 염두에 두어야 할 점 생각해야 할 이미지 데이터 세트 보관 요구 사항 조직이나 에이전시가 가질 수 있습니다 저장에 많은 어려움이 있습니다 내가 그들에게 어떻게 대처할 지 이야기 할거야

앞으로 나아가고 정말로 멀리까지 스토리지에 대해 생각하기 시작했습니다 접근성이 높아짐에 따라 과학적으로 접근 가능한 물 지역 사회와 대중 그리고 그까지 접근성은 당신이 생각할 필요가 간다 데이터가 필요한 모든 요구 사항 접근 할 수 있어야합니다 한 번 처리에서받을 수 있습니다 이미지에 액세스 할 수 있으며 기계 학습을 위해 접근 가능한 데이터 컴퓨터 비전과 같은 소프트웨어 기계 학습과 같은 소프트웨어 이 세 가지에 대해 이야기 할 때 큰 데이터 관리의 구성 요소들입니다

우리의 예에서 짜기로 NOAA 어업 관점에 대한 이야기 우리의 이미지 수집 물과 우리가있는 곳 앞으로 나아갈 생각을하기 시작했다 미래는 그렇다 이미지 컬렉션의 중요성 NOAA 어업은 많은 것을 창조합니다 우리가 수집하는 이미지의 데이터 우리의 주요 임무 중 하나는 물고기를하는 것입니다 미국 전역의 설문 조사 수중 광학 기술을 사용하여 서식지 평가 및 분류 우리는 이러한 광학을 사용할 수 있습니다 실시간 데이터를 수집하는 기술 예를 들어 수중 ROV에 넣은 경우 당신은 실시간으로 무엇을 볼 수 있습니다

일어나고 우리는이 장애물을 사용합니다 실제로 수집 할 기술 데이터 제한 구역 및 너무 많이 샘플링되지 않은 영역 그들은 전혀 단순하지도 않다 그들은 데이터가 제한되어 있습니다 최근 몇 년 동안 우리는 광학 기술의 증가 가격이 점점 낮아지고있다 더 쉽게 사용할 수 있고 우리는 이러한 기술을 사용하여 시작 우리의 물고기 조사 서식지 평가 및 우리는 또한 데이터를 사용하는 영역에서 볼 수 있습니다

카리브 지역의 제한된 지역 그들도 증가했다 관심사와 이들을 사용하기 시작했다 더 많은 광학 기술을 수집 그들의 환경에 관한 정보 우리는 실제로 어떻게 할 수 있을지 생각하기 시작했습니다 우리는 이미지 컬렉션을 사용하여 미래의 가장 큰 혜택 우리가 수집하는 줄을 찾고 점점 더 이야기를 나누고 싶습니다 NOAA 어업 이미지에 관한 약간의 정보 우리가 x 축에 그렇게 가지고 있다면, 미안 해요

우리가 가지고있는 x 축에서 누군가의 방법을 막는다 우리의 수산 과학 센터에는 6 개가 있습니다 수산 과학 센터와 태평양 제도 우리는 남동쪽을 가지고 있습니다 수산 과학 센터 동북 수산 과학 센터 남서부 노스 웨스트 및 알래스카와이 파란색 막대 현재 테라 바이트 단위로 표현한다 이미 수집 한 많은 이미지 우리의 어업 평가 및 서식지 정보 최신 파란색 막대 왼쪽에는 현재 우리가 가진 것이있다

미래에 예상되는 것은 막대를 따라 5 10 년 아래 줄 어떻게 많은 이미지가 남동쪽에있는 우리 센터는 우리는 많은 정보를 멕시코만과 대서양에서 노스 캐롤라이나와 플로리다의 요점은 이미지가 계속 유지된다는 것입니다 우리가 해결하려고 할 때 수집되고있다 데이터가 제한된 상황에서 우리는 확장에 대한 추가 정보 수집 서식지를 만들고 더 많은 물고기 조사를하고 있습니다 첫 번째 중요한 구성 요소 중 하나 데이터 관리를 할 때 메타 데이터와 메타 데이터를 생각하고 있습니다 데이터에 대한 정보입니다

여러 종류가 있기 때문에 요점은 메타 데이터가 표준화되고 데이터를 앞으로 이동시키는 방법은 조직 된 일단 저장하면 사용할 수 있습니다 그것을 액세스하고 열쇠를 골라 낼 수있다 당신의 데이트의 구성 요소 찾고 있기 때문에 거기에 많은 다른 설명 메타 데이터가있는 유형 그건 당신의 데이터 유형에 관한 얘기입니다 에 대한 모든 키워드 및 학습 목표 데이터 기술의 사명 메타 데이터에 대해 실제로 말하기 압축의 경우 설명적인 정보 요구 사항 또는 형식을 귀하의 주제 정말로 중요한 메타 데이터 특수 효과는 바로 그 것이며 데이터를 최대한 활용하여 이익을 얻으십시오 액세스 할 수 있도록 무엇에 대한 실제 텍스트 표현 당신의 데이터 안에 있다면 당신은 구조 메타 데이터를 계층 적으로 귀하의 데이터는 서로 그리고 그것은 단지 조직이다

그것 전부와 당신의 행정 자료 얼마나 오랫동안 이야기하고 있는지에 대한 메타 데이터 당신은주의를 기울여야한다 이동하는 기간과 액세스 요구 사항 등등 메타 데이터의 구성 요소 네가 어떤 데이터를 쓰든간에 수집하지만 핵심은 그것이 필요하다는 것입니다 표준화되고 조직적으로 움직이는 것 앞으로 그래서 조금 얘기하자 저장소에 대해 먼저 메타 데이터가 이제 메타 데이터입니다 우리는 우리 모두가 우리의 이미지를 위해 구성된 메타 데이터 우리가 원하는 스토리지에 대해 생각할 필요가 있습니다

의 상태에 대해 조금 이야기하기 NOAA 수산학 광학 데이터와 어떻게 우리의 내가 말했던 것처럼 데이터가 저장되었습니다 우리의 6 개 어업 과학 센터와 각각 센터는 그 과학 센터의 임무와 그들이 진행하고있는 프로젝트 그래서 지금은 아주 일반적입니다 많은 것을 모으는 사람들을위한 상황 그 데이터가 센터에서 수집하고있어 그들은 자신의 방식으로 그것을 저장하고 있습니다

해당 데이터에 액세스하려면 누가 그걸 알고 있는지 찾아야 해 그들에게 연락하는 방법에 관한 데이터 당신을 알고 데이터를 하드 한 쉽게 접근 할 수없는 슈퍼 드라이브 하지만 몇 가지 요구 사항이 있습니다 우리가 가지고있는 NOAA를위한 예를 들어 저장 공개 액세스 요구 사항 PARR이므로 공개적으로 액세스 권한이 있어야합니다 대중에게 접근하고 과학 공동체뿐만 아니라 우리는 또한 데이터를 보관해야하는 경우 장기간 보관 돼야한다 보관소가 구별되도록 및 저장 장치가 없습니다

보관소가 조직의 요구 사항 또는 대행사 및 저장 용량을 확보 할 수 있습니다 데이터를 쉽게 액세스 할 수 있으므로 빨리 처리 할 수 ​​있습니다 가이드 라인이나 표준을 염두에 두어야한다 저장하는 중일 수 있습니다 데이터 예를 들어 c-max 연안 해양 및 생태 분류 당신이 저장하고 싶은 분류 체계 몇 가지 표준 유형의 데이터 조직을 만들기 위해 존재할 수있는 쉬운 접근성을위한 미래 방향 NOAA에 대한 저장 용량이 너무 미안했을 때 너는 스토리지를 고려하고있어

내게 필요한 옵션 키를 실제로 만들어야합니다 그게 우리가하는 최고의 것입니다 우리는 데이터를 저장할 필요가있다 하지만 당신이 접근 할 수 있어야합니다 이 광학 이미지를 모두 처리하십시오

그것으로부터 많은 이익을 얻습니다 컴퓨터 비전에서 사용 가능 소프트웨어 및 기계 학습 데이터 처리에 도움이되는 알고리즘 그래서 당신이 당신의 데이터를 저장할 때 메타 데이터를 고려해야합니다 얘기하고 그것을 매우 조직화하게 앞으로 표준화 된 약간의 타임 스탬프가 필요할 수 있습니다 데이터를 쉽게 귀하의 데이터를 서로 참조하십시오 유니버설 타임 스탬프가 있습니다

기본 시간 UTC는 당신의 시간 스탬프를위한 대중적인 선택 데이터가 시간대와 무관하므로 너는 몇시에 대해 걱정할 필요가 없다 현재있는 구역과 좌표는 다음과 같습니다 모든 세트에 가지고있는 정말로 좋은 생각 당신이 가지고있는 이미지는 당신은 그들을 통해 사용할 수 있도록 만들 수 있습니다 지도가있는 사용자 포털과 같을 수도 있습니다 기반 또는 찾는 사람 위치를 통한 귀하의 이미지는 데이터를 저장할 때 가장 좋습니다 당신은 그것이 기계 학습 가능 응용 프로그램이므로 쉽게 사용할 수 있습니다

우리가 사용하고 프로세스를 도울 수 있습니다 우리의 데이터는보다 효율적이고 여기에 있습니다 자외선 및 ROV의 수치 이미지를 수집하고 질문이 있습니다 데이터를 저장할 위치를 표시하십시오 몇 가지 옵션이 있기 때문에 노아와 CEI를 위해 특별히 마련된 국립 환경 센터 정보는 노아의 데이터를 많이 호스팅합니다

수산업을 위해 우리 모두 음향 데이터를 우리의 능력을 호스팅 그러나 그들은 그것을위한 공간을 가지고있다 물리적 서버 및 방화벽과 모든 데이터 이동 이 중앙에 도착하는 국가 위치는 시간이 걸린다 이제는 NCEI의 우리의 광학 이미지는 사물이 아직도있는 것처럼 약간의 시간 현재 개발 중에 있으므로 넣을 수 없습니다 NCEI의 우리 데이터 뭔가있다

상업적으로 인기를 얻고있다 다음과 같은 클라우드 공급자 옵션 Amazon 또는 Google 이름 확실히 그들이 들었을 것입니다 믿을 수 없을 정도로 인기가 있고 그들은 확장 가능한 플랫폼을 갖춘 능력 호스트 할 수있는 수집 할 수있는 데이터를 아주 쉽게 보급한다 쉽게 접근성이 그렇습니다 저장을 생각할 때마다 데이터를 어떻게 생각해야합니까? 처리를 위해 신속하게 액세스하십시오

다른 사람들이 액세스하고 사물을 위해 기계 학습 응용 프로그램과 같은 메타 데이터가 정리되면 당신은 귀하의 데이터를 우리의 사용자 사용자에게 필요한 데이터에 액세스 할 수 있습니다 가능한 데이터를 볼 수있는 액세스 권한이 있어야합니다 그 목적을 아마도 당신이 수집 한 독창적 인 연구 사명 이유는 있지만 계속 유지하는 지역의 데이터 다른 사람들이 다시 볼 수 있도록 새로운 트렌드 새로운 패턴을 발견하십시오 나중에 그것을위한 아이디어는 전체입니다 과학과 발견의 목적 당신이 접근 할 수 있는지 확인하고 싶다

사용자 포털과 정말 좋았어 예는 oer 비디오 포털이며 최종 비용 바이오 매스 바이오 매스 또는 포털 잠시 후에 예제를 보여 주지만 네가하고 싶은게 뭐든간에 귀하의 주제 메타 데이터 특수 효과가 삽입되어 있으며 사용자가 액세스 할 수 있도록 구성 포털에 쉽게 찾을 수 있습니다 그들은 여기를 찾고 있습니다 oer 비디오 포털의 할 수있는 날짜부터 검색 할 수 있습니다 깊이와지도 및 모든 검색 이 정보는 메타 데이터를 사용하여 컬렉션에서 데이터 큐 레이션 접근성에 대한 모든 과정을 처리한다

메타 데이터에 필요한 것 뭔가로 접근 할 수 있도록 사용자 포털처럼 모든 것을 가질 수 있습니다 사용자 정보 한번 그렇게 될거야 저장 한 메타 데이터 사람들에게 접근 가능하다 여기에서 누가 기계 학습을 할 수 있는지 기계 학습에 대해 들어 본 적이있다 거의 모든 사람들이 우리 안에 있습니다

당신이 볼 수있는 페이스 북의 일상 얼굴 인식의 예 기계 학습을위한 기계 학습 기본적으로 컴퓨터를 작동시키는 방법 명시 적으로 프로그래밍하지 않고 그들에게 훈련을 잘 시켜라 때로는 많은 훈련이 필요합니다 시간이 지남에 따라 그 훈련으로 더 좋아지고 무엇을 이해할 수 있는가? 그들이 할 수 없기 때문에 찾고 있어요 우리가 그렇게하는 것처럼 스스로 생각해라 그들에게 훈련을 제공하고 알고리즘의 정확도가 향상됩니다

이것은 이것이 신경망의 예입니다 네트워크 측면에 기본적으로 당신 입력이 들어오고 선택할 알고리즘 기능을 선택하고 가중치 및 그것들이 얼마나 중요한지에 대한 백분율 기능은 있으며 가장 좋은 추측을합니다 이미지가 무엇인지, 주석을 달아주세요 그래서 만약 당신이 귀하의 정보를 참조하십시오 마우스는 괜찮아 그래서 너라면

당신의 이미지와 비디오를 가지고 이미지 및 당신은이 기계를 사용합니다 학습 소프트웨어 및 기계 학습 소프트웨어로 만들 수 있습니다 무엇을 분류 할 수있는 분류 자 그들이 탐지기로 만들 수있는 비디오 일단 그들이 만든 객체를 탐지 할 수 있습니다 그것들은 분석 할 수 있습니다 데이터를 저장하고 사용 가능하게 만들고 그래픽 사용자 인터페이스

내부 반복적 저장 프로세스 액세스 할 수 있도록 만들기 그 기계는 소프트웨어를 배우면서 특수 효과를 만들기 위해 그것을 사용할 수 있습니다 다른 분석 기능을 사용하십시오 가지고 있고 다음의 출력을 얻을 수 있습니다 귀하의 데이터는 주석이 달린 데이터 또는 그것의 더 많은 정보는 정말 그 처리에 비판적이 될거야 우리의 많은 돈을 가지고 일어난다

우리가 수집하는 이미지의 기계 학습과 그것이 어떻게 만들어 질 수 있는지 데이터를 더욱 쉽게 액세스 할 수 있습니다 이미지 내의 특수 효과 자동화 여기는 매우 시원한 그림입니다 이건 단순한 객체 일 뿐이다 탐지가 가능하므로 이미지는 알고리즘을 통과하고 그들은 골라 낼 수 있다고 생각합니다 거기서 관심있는 물건 그것은 탐지 할 수있는 객체를 할 수있다

그것이 물고기를 셀 수 종을 식별 물고기와이 모든 것들을 측정 할 수있다 매우 특수 효과를 생성 할 수 있습니다 인간을위한 힘든 과정 그들의 데이터가 이렇게 진짜있을거야 우리가 수집 할 때 앞으로 나아갈 중요한 가질 수있는 더 많은 데이터 기계 학습과 같은 보충 교재 내가 언급 한 것처럼 인간의 처리 전에 기계를 사용할 때 예외적으로 학습 훈련 중요한 애벌레들은 지난 5 년 동안 우리는 프로젝트 자금과 자동화 된 이미징 분석 이니셔티브로 수있는 엔드 – 투 – 엔드 소프트웨어 이미지를 찍고 주석을 달고 자동으로 처리하므로 만든 biame 비디오 및 이미지 해양 환경에 대한 분석 및 이 소프트웨어는 자동화 된 도구 상자입니다 온라인이고 기계 학습을 사용합니다

처리를 간소화하는 알고리즘 그래서 5 년 안에 우리는 우리 데이트 세트를 훈련시키고 우리의 데이트하는 방법 알고리즘이 더 똑똑하고 그래서 여기에 있습니다 훈련 데이터 세트의 두 가지 예가있다 우리가 사용하고있는 베링의 두 배 'r'이 되라 베링 해 폴록 그래서 우리는 북서쪽에 대구의 카메라로 폴락 조사 트롤과 폴락의 끝이 들어온다 이 VIAME 소프트웨어는 물고기가 지나갈 때 측정 실시간으로 아주 멋집니다

내가 말하고자하는 것은 쉬운 훈련 세트 때문에 배경은 그리 복잡하지 않다 많은 종들이없고 이와 같은 이미지는 일부와 훈련하는 알고리즘 교육 예제 및 아래쪽에 우리 동북부에 새로운 가리비 설탕 조사 캠 그것은 사진을 찍은 두꺼비 캠이야 그것들을 모자이크로 묶은 것이 이것입니다 또한 알고리즘을 지속적으로 교육합니다 그것은 조금 더 어렵습니다 왜냐하면 보시다시피 가리비는 그들 뒤에있는 모래와 비슷한 색 일부는 흰색, 일부는 갈색, 가장자리가 감지하기 어려울 수 있지만 가리비 조사를 위해 우리는 단지하지 않습니다

때때로 그 가리비를 찍어 라 이미지에 다른 것들이 있습니다 그럼 동북부에서는 VMA를 사용하여 사진들과 그것이 계속되고있다 꽤 잘 그들은 그것을 사용 해왔다 지난 1 년 동안 VMA 교육 2018 년에 방금 출시되었습니다

모든 어업 교육을 마쳤다 꽤 멋진 과학 센터들 기계 학습이 왜 그렇게 큰지 오는 많은 어려움이있다 이미지에 주석 달기 및 처리 이미지 1 번에 이미지 수 엄청 나서 수천을 모을 수있다 누군가가 가야하는 비디오 시간 중 어떤 경우에는 그들은 심지어 주석 달기 또는 전체 처리 중이다

그들은 당신이 알고있는 덩어리를 취할 수 있습니다 잠깐 기다려 다른 덩어리를 가져 가라 그것과 재능과 견적을 처리한다 당신이 할 수있을 때 더 정확하게 될 수 있습니다 실제로 모든 데이터를 처리하고 그게 기계가 될거야

인간을 돕기 시작해야한다 이미지 세트가있는 경우의 예 정말 비슷한 모양의 종 수중 환경에서 때로는보기가 어렵 기 때문에 혼탁 한 물이 있거나 명확하지 않다 구름이 덮여있어 기계가있다 그것의 탐지가있을 수있는 배우기 특정 기능은 어려울 수 있습니다 인간은 스스로 볼 수 있지만 알고리즘은 이러한 작은 픽셀 단위로 선택할 수 있습니다

기능 및 분석이 조금 개선되었습니다 인간보다 두 배로 계산됩니다 개별 물고기가 안으로 수영하고 당신이 확실하지 않은 프레임에서 그것은 같은 물고기 또는 기계가 아닙니다 트랙 특수 효과를 만들 수 있습니다 그 물고기를 식별하고 그것으로 그것이 알고있는 프레임 안팎으로 헤엄 쳐요

그 물고기는 내가 살 수있는 물고기 야 이중 계산을 제거하여 기계 학습에는 엄청난 양의 확실히 사용해야 할 혜택 우리가 처리 할 생각이있을 때 데이터가 좋아서 지난 주에 실제로 갔다 남동부 수산 과학에 이르기까지 센터와 나는 혼자 앉아 있었다 우리가하고 있었던이 훈련은 biame와 회사 kitware는 갔다 모든 어업 과학에 이르기까지 센터와 과학자들은 실제로 데이터를 사용할 것입니다

에있는 모든 것을 시도하는 것을 사용하여 그들의 컴퓨터는 그들의 훈련을 받았다 컴퓨터와 biame을 사용하여 시작하는 방법 그리고 기계 학습 그래서 나는 앉아서 전에 이미지를 처리 ​​한 적이 없다 너희들에게 처음 봐 줄께 비명을 지르는 기능 중 일부 너희들이라면 기계 학습이있다 빨리보고 싶어

너를 위해서 너를 끌어들이려고 노력할거야 나는 또한 그것을 지적하고 싶다 이것은 온라인 소프트웨어이며 무료입니다 지시 사항 및 추가 정보는 모든 온라인 및 지침 제공 세트는 PDF 파일 인 살아있는 문서입니다 그것은 항상 변화합니다

현재 업데이트 중입니다 어떻게 볼 수 있습니까? 그걸로 앞으로 나아갈 수있게 방금 쿼리 GUI를 열고 GUI는 그래픽 사용자 인터페이스입니다 그래서 내가해야 할 일은 그걸 열어 놓는거야 새 쿼리 유형을 만들고 여기에 이미지 예제를 사용할 것입니다 내 이미지를로드하고 나는 마우스 데이터 세트의 예제를 사용하고 마우스 데이터 세트는 스테레오 일뿐입니다

태평양 제도에서 가져온 카메라 거기에 몇 가지 정지 이미지가 있습니다 하단에로드 중임을 알 수 있으므로 이미지를 당겨서 지금 당장 그것이 이미지와 그것은 내가 원하는 것을 궁금해한다 감지하고 그것은 부부와 함께 올거야 상자들 그리고 거기에서 나는 그것을 말해야 만한다 내가 관심을 가지기는하지만 당신은 컴퓨터가 매우 똑똑하다는 것을 알고 있습니다 여전히 마음을 읽을 수 없으므로 이 조금로드 및이 하나의 예일 뿐이고 계속 훈련 할 때 기계 학습 알고리즘 다음과 같은 훈련 데이터 세트를 사용하고 있어야합니다

당신이 실제로하는 것과 비슷합니다 그 이유는 프로세스가 진행되기 때문입니다 알고리즘 학습 중 그들은 당신이 원하는 것을 배우고 있습니다 찾아보고 싶지 않은 부분 찾아서 처리 중이라고 말하십시오 양해 해 주셔서 감사합니다

실제로는 아주 멋지다 기능 및 내가 보여줄 내용 매우 단순한 모델 일뿐입니다 모델 그래서 여기에 모든 상자가 보입니까? 나왔다는 생각이 들었어 이것이 뭔가있을 수도 있다고 생각해 제 1 단계가 무언가가되어주세요

실제로 내가 원하는 것을 보여주기 위해 실제로는 개똥 지빠귀가 있습니다 맨 중간 이 상자를 클릭하면됩니다 이 화살은 단지 프로그램의 모습입니다 단계별 지침을 수행합니다 온라인 그래서 나는 상자를 강조했다 이 모든 기능은 이 상자가이 물건은 내가 너를 원해

찾으려면 좋아, 내가 칠거야 다시 OK를 누르면 열릴거야 이제 그걸 통해 볼거야 내가 원했던 전체 이미지 세트 이것을 보면지도보기에 불과합니다 별로 중요하지 않아서 내가 방금 말했던 것을 토대로 추측해라

생선과 그 기능이있을거야 끝내고 내가 뭘 원하는지 맞춰봐 그래서 여기에 점수를 보는 방법은 자신감이있는 것은 그것이 나에게 내가 추측 한 것 또는 내가 말한 것을 보여 주라 짐작할 수 있겠지만 그것이 나왔습니다 내 이미지 중 하나 인 물고기를 방아쇠로 당기고 여기 훈련을 시작하는 방법이 있습니다

네가 그걸 말해야 만한다 그게 내가 원하거나 무시하는 것이 아니길 바래 완전히 그리고 당신이 그것을 말할 때 그게 네가 말할 때 내가 원하는거야 내가 너의 훈련을 원하는 것이 아니다 알고리즘을 무시한다면 그것으로부터 전혀 배울 수 없다

무시해 그 예는 아마 당신이 가지고 있다면 서로 뒤에 두 마리의 물고기가있어 당신이 원하지만 둘 사이의 물고기 상자에 그 두 물고기와 너가있어 그것의 특징을 배우고 싶지 않아요 서로 앞에 두 마리의 물고기가 있기 때문에 그게 하나의 물고기가 아니에요 경우에 따라 내가 찾고있는 물고기지만, 왜냐하면 나는 두 사람을 식별하기 시작하지 않기를 바란다

나는 단지 그것이라고 말하지 않을 것이다 관련성이 높아지기 때문에 내가 통과 할 때 열쇠는 이것들이다 내가 찾는 건 조금 갈거야 빨리 볼 수 있습니다 다른 그래서 여기에 내가 그것을 말하고있어 좋아, 이거 때문에 그 뒤에있는 다른 물고기 나는 아마 아무 말도하지 않을거야

하지만 나는 옳을거야 클릭하면 등급이 적용되지 않은 것으로 계산됩니다 나는 그것을 그렇게 평가하지 않기를 바란다 너 갈거야 내가 갈거야 빠르다 보면 볼 수 있습니다

다른 물고기는 여기를 보자 괜찮아 그래서이 사람은 내가 아는 사람이 아니야 그래서 나는 말하기 시작할거야 음

하지만 이것들은 내가 원하는 걸 좋아하지 않아 그래서 위로 당신은 그 일이 무엇인지 알 수 있습니다 밑바닥에는 이것들이있다 정말 확신 할 수 없었습니다

내가이 경계인지 모르겠다 나는 그것이 그렇게하면 이것이 확실하지 않다 그것이 얼마나 가까이에 있다고 생각하는지에 대한 평가 위쪽과 아래쪽은 이것들이다 그게 정말 울타리에 있었어 나는 괜찮다고 말할 수있다

나는 음을 말할거야 이것에 대한 나의 unweighting에 맞지 않다 그리고 나서 너는 기본적으로 그냥 갈거야 이 인종 간을 통해 반복하고 일단 당신이 그것을 훈련 시키면 어쩌면 당신은 좋은 좋은 소수와 같을 수도 있습니다 그들 중 당신은 세련되고, 문자 그대로 당신이 훈련하는거야? 그것이 기반으로하는 알고리즘은 괜찮습니다

지금 당신이 방금 말한 정보 나와 너는 내가 갈 거라는 것을 분명히했다 한 번 더 이미지 세트를 통해 내가 조금이라도 얻을 수 있는지 알게 될거야 네가 말하는 것 같아 그리고 그것이 끌어 올릴 것입니다 내가 말한 그 세트는 위로 올바른거야

그런 다음 순서를 바꾸기 시작합니다 어쩌면 조금 더 가깝다는 추측 일 수도있다 Andale 그것은 그것을 정상에서 할 것이다 바닥과 나는 너무 많이지지 않을거야 다시 그것을 통해 많은 시간이 사촌 나는 단지 그것을 빨리하려고 애쓴다

실제로 데이터를 처리하고있었습니다 네가 그랬는지 확인하고 싶을거야 아주 올바르게 훈련 시키십시오 내가 말할 수있는 것은 관련이 없다 왜냐하면 그것은 두 가지를 가지고 있기 때문입니다

개똥 지빠귀에는 2 마리가 있기 때문에 나는 그것들을 탐지하기를 원하지 않는다 네가 한거 같아 내가 이것을 X에서 풀 수 있는지 확인해 보라 당신이 훈련하는 방법 그리고 그렇게하면 교육을 통해 해당 모델을 내보낼 수 있습니다 그 모델을 다른 사람에게 적용 할 수 있습니다

매우 차가운 훈련 데이터 세트 내 파워 포인트로 돌아갈거야 내가 보여주고 싶었던 바로 그 사촌 너 괜찮 니? 그래 시위의 약간 나는 한 조를 가지고있다 몇 분 남았고 그냥 말하고 싶었어 그 기계 학습은 수십 년 동안 지금은 정말 쉽습니다

컴퓨터 처리 가능 특히 수중 이미지의 경우 정말 어렵고 항상 네가 올 때오고있어 자신이 원하는 데이터를 수집하십시오 메타 데이터 구성 표준화 된 저장 용량에 대해 생각하면 그것은 접근 가능하게 될 수있다 더 넓은 대중을 위해서가 아니라 과학 공동체가 아니라 단지 내가 너를 기계처럼 보이기 때문에 당신이 염두에두고 싶은 소프트웨어를 배우십시오 가이드 라인이 있거나 요구 사항 또는 존재하는 표준 또는 당신은 배출 금지 또는 귀하의 대리점 용 조직 및 일부가 있습니다

시간과 같은 데이터를 돕는 것들 우표와 그것을 다시 연관시킬 수 있음 그 아카이브 요구 사항이 저장 용량이 아닐 수도 있습니다 에 대한 데이터를 보관하려는 장기적으로는 그렇게 될 수는 없다 빠른 저장 장치로 데이터에 쉽게 액세스 할 수 있고 또한 사용할 때 기계 교육을 훈련해야합니다 알고리즘과 그들은 꽤 훈련시킬 수 있습니다 그래도 시간이 필요해

당신이 원하는 것과 당신이하지 않는 것에 대해 말해주십시오 당신이 그들을 적용 시작할 수 있도록하고 싶다 귀하의 데이터에 12시 30 분이면 누구나 끝까지 마무리하겠습니다 어떤 질문이라도 할 수 있다면 정말 고마워요 질문을 던지십시오

알고리즘은 예측 능력이있다 종의 생존 이 특별한 프로그램은 내가 아는 사람 중에 하나만 알고있다 밖에서 다른 사람들이 있을지도 몰라 당신이 실제로 할 수있는 것만이 아닙니다 그것을 훈련하면 당신은 할 수 없을 것입니다

물고기 같은 물고기가 아니라면 실제로 그것을 훈련 시켜라 보이는 특정 기능을 가지고있다 그가 죽을 것처럼 나는 잘 모르겠다 네가 아는 것처럼 지느러미가없는 것 같아 어쩌면 그들은 오 말할 수있는 훈련을받을 수 있습니다

이 물고기는이 % 기회를 가질 것입니다 그래, 그래도 그냥 사는거야 너는 그곳에 더 먼 것이 있다는 것을 너는 짐작할 수있다 오버레이라고 생각하고 있었고 블록 체인을 사용하여 그것을 제시하고 당신이 가져올 수있는 인공 지능 거버넌스에서 지침 문서를 작성한 후 연결 직접 메타 데이터를 만든 다음 검색 매개 변수로 너는 그게 큰 그림이야, 나 알았어 너는 그걸 생각하고있을거야

분명히 그것이 있다고 생각합니다 다음과 같은 것들을 통합하는 기능 저것은 아직도 안에 종류의 발달 그러나 나는 생각한다 그렇지 않으면 가능성은 정직합니다 예 바로 그 거예요 멋진 사람 예 타라 감사합니다 분명히 이것은 실험실 또는 학계에서 지역 전반에 걸친 유사한 조사

유틸리티가 실제로있을 것 같습니다 역사를 넘어 생태계 또는 기초가 단일 인 경우 전국적으로 데이터베이스 바로 커뮤니티 하고 싶은 생각이 있어요 특히 어업 내에서 과학을 반복하지 않아서 미안해 질문 음 생각은 어땠어? 통합에 대한 전진 데이터 세트를 서로 교육하고 지금은 그 자리에 있지 않지만 사람들은 그것에 대해 확실히 말하고 있기 때문에 그들은 멕시코 만 (Gulf of Mexico)을 알고 있습니다

태평양 제도는 꽤 비슷합니다 조사는 암초 설문 조사를합니다 그들이 훈련하는 알고리즘이있다 서로에게 도움이 될 것입니다 우리가 가고있는 방향

사람들은 그것이 그 훈련을 사용하는 것이 유익하다 우리는 다른 사람들과 나누기 위해 너의 감각이 좋다 이 데이터가 당신에게 퍼져 있다는 500 하드 드라이브를 잘 압니다 질문은 특별히 남동부 어업 과학 센터 가장 많은 양의 데이터가 하나에 저장된 데이터 수집 1 개의 반점은 분리되어있다 그들은 거기에서 꽤 분리되어 있습니다 동남쪽에는 여러 가지 다른 노스 캐롤라이나 주 미시시피에있는 센터들 플로리다와 내가 아는 한 이미지 컬렉션은 각각 센터는 자체 프로젝트를 기반으로한다

다음과 같은 통합은 없습니다 생각하기 시작해야 할 것 우리가 생각하기를 원한다 우리는 중앙 집중화를 시작해야할까요? 특히 당신을 위해 비슷한 스토리지 알고 부위 남동쪽과 같은 일하고있는 다른 종류의 프로그램 생선 이미지 데이터를 얼굴에 사용하기 날짜에 따라 다름 mmm 보이는 것 같아 보인다 그건 네 일이 아니야 그냥 물고기 조사가 아니야

그래 그 의견은 다른 수집중인 닙 부분 전자와 같은 광학 이미지 어업 의존적 인 데이터의 모니터링 및 그것은 다른 상황이다 에 대한 고려 사항이있다 기밀 유지 당신이하지 않는 개인 낚시 보트 그 데이터를 필히 만들고 싶다

대중에게 접근 가능하고 그래서 그들은 또한 기계 학습을 들여다 본다 그래서 그들은 그것에 대해 가야 할 것입니다 그들이 매우 사려 깊은 곳 데이터에 접근 할 수있는 방법 하지만 접근 할 수있는 한 그들의 도움을 줄 수있는 소프트웨어 프로세스에 집중하고 있으며 그 네, 그렇습니다 아마도 훈련 일 것입니다

알고리즘은 예, 괜찮습니다 이미지 나 동영상이 있습니까? 권장되는 파일 형식 또는 이 데이터를 컴퓨터에서 사용할 수있게 만들기 배움 음, 뭐든간에 VIAME을 특별히 온라인에서 사용하고 있습니다 어쩌면 내가 제공 할 수있는 웹 사이트 우리가 이것을 업로드하면 링크처럼 프레젠테이션은 구체적이지만 그래서 저는 온라인에서 정보 및 귀하의 다른 방법으로 액세스 할 수있는 데이터 내가 추천하는 온라인 추천 이것에 대한 보고서를 작성하면 실제로 그 중 일부는 가지고있다 보고서에 기록 된 권고 사항 곧 나올거야 조지는 아키비스트가 기계를 쓸 수 있는지 묻습니다

VIAME 또는 다른 프로그램과 같은 학습 지역의 사람들을 식별하는 데 사용된다 팔 고 융점 아, 그럼 그들이 질문을 듣는가? 물어 공기 직접 직접 괜찮아요 보관 된 이미지는 걸리는 보관 된 이미지를 알아야하기 때문에 그것은 깊숙이 저장되어있어 조금 걸립니다 나갈 시간은 충분하지만 얻을 수 있다면 당신과 함께 할 수있는 이미지는 그 이상으로 학습하는 기계 남자의 구체적인 것은 수 중용이다 환경 그래서 알고리즘의 방법입니다 훈련 받았지만 확실히있다

사람들을위한 기계 학습과 나는 생각한다 아마 미 국방부 확실히 더 많은 정보를 얻을 수있다 그게 뭔지 아십니까? 언어는 기본 코드가 아닙니다 제품 그래, 음 나는 잘 모르겠다 문제는이 물건의 가늠자를 가지고 있었다

아직 제품을 만드는 것 지속적인 개발로 알고리즘은 항상 변경되고 공개적으로 사용 가능하도록 업데이트되었습니다 네가 좋아하지 않는 한 거기 있는지 알아라 온라인에 접속하여 지시 사항 내가 있는지 모르겠다 당신이 얻을 수있는 세트 제품 패키지처럼 그러나 그것은 당신이 개발이 일어난다는 것을 알고 있습니다 오히려 빨리 좋아해요

관리 시간 기술은 내가 그렇게 간다 그것이 미래에 확실히있을 것이라고 생각한다 괜찮을거야