Apache Kafka Tutorial | What is Apache Kafka? | Kafka Tutorial for Beginners | Edureka

안녕하세요 여러분! Edureka의 Subham입니다 오늘 세션의 주제는 카프카 자습서입니다

따라서 아무런 지체없이 오늘 세션의 의제를 살펴 봅시다 이해하는 것이 중요하다고 생각합니다 기술의 필요성 이제 메시징 시스템의 필요성부터 시작하겠습니다 그런 다음 Apache Kafka와 그 기능을 이해할 것입니다 Kafka 튜토리얼을 더욱 발전시켜 우리가 다른 것에 대해 배울 것입니다

Apache Kafka의 구성 요소와 아키텍처 마침내 우리는 Apache Kafka를 설치하고 배포 할 것입니다 단일 노드 단일 브로커 클러스터

Introduction to Advanced Statistical Techniques and Its Applications | Data Analysis -Great Learning

여러분 안녕하세요 고급 통계 모듈에 오신 것을 환영합니다

이 모듈에서, 우리는 분산 분석, 선형 회귀 분석 분석, 주성분 분석 요인 분석 이 기술들 그들은 analytics 산업에서 광대하게 적용됩니다 그것들은 분석 산업의 기반이됩니다 몇 가지 예를 들어 보겠습니다 간단한 예 그게 마케팅이야

매니저는 고객에 할인은 판매를 증가하고 있습니다 아닙니다 예를 들어 보겠습니다 10 % 할인 수준이 좋습니다 또는 20 % 할인 수준이 좋거나 30 % 할인 수준입니다 좋은가요? 다음 중 어느 수준으로 증가시킬 것인가? 판매

판매에 어떤 영향을 미칩니 까? 이 질문에 어떻게 대답합니까? 그래서, 아마도 당신은 도구, 분산 분석이라고합니다 마찬가지로, 당신이 이해하고 싶다면 어떤 채널이 당신에게 가장 높은 점수를 주는지 증가의 관점에서 수익 너는 광고하고 있는다고해라 TV, 신문, 디지털을 통한 제품 채널 그리고 어떤 채널을 이해하고 싶습니까? 너에게 더 많은 것을주고있다

수익 그럼 너 아마 보았을거야 ANOVA와 같은 도구의 혼합 회귀 분석 예를 들어 당신이 원하는 것을 말하십시오 비율 스포츠 선수

예를 들어 평가하고 싶다고합시다 IPL 타자 또는 IPL 중계자 예를 들어 타자의 경우에 대해 말하십시오 너는 생각할 수있다 귀뚜라미의 점에서의 물건, 예를 들면 얼마나 타자 파업 률, 50 대 수 100의 수

4의 숫자, 6의 수 이 모든 것이 데이터를 구성합니다 이 데이터가 있으면 지금해야합니다 타자를 어떻게 평가합니까? 그런 시나리오에서 당신은 다음과 같은 특정 도구 주요 구성 요소 분석 이 특별한 도구 에서 광범위하게 적용된다

등급 도시, 그들의 생활 조건, 또는 인간 개발 지표 이렇게 많은 다른 분야 이 특정 기술을 적용 할 수 있습니다 하지만 네가 스포츠 분석에 대해 이야기하고 싶습니다 선수를 평가하고 싶다 등급 의미 선수들에게 더 많은 돈

그래, 그래서 스포츠 분석이 관심있는 분야라면 너는 신청할 수있다 이 모든 개념들도 거기에 있습니다 괜찮아 자, 예를 들어 당신은 사람들이 내 브랜드를 어떻게 인식하고 있는지 알고 싶습니다 괜찮아

귀하의 브랜드는 특정 속성 및 사람들 브랜드 평점 그 속성은 또한 아주 중요한 것입니다 예를 들어 보겠습니다 몇 가지가있는 자동차 산업 자동차 호화로운에서 시작 자동차 보통의 자동차 종류 자동차도 생각할 수 있습니다 말하자면 가족 차는 전형적으로 구성한다, 너 뭐라고 말하고, 안전하고, 경제, 낮은 정비, 신뢰할 수 있습니다

괜찮아 이것들은 우리가 원하는 특성들입니다 가족 용 자동차에 대해 설명합니다 그럼 이제 너는 어때? 주어진 브랜드가 같은 속성 집합 낮은 유지, 경제, 신뢰성, 운동가 다운, 옥외, 거친, 호화로운 브랜드가 정확히 어디에있는가 고객의 마음 속에 자리 잡고 있습니다

브랜드가 어떻게 인식되고 있는지 알고 싶다면 당신은 기술을 배우고 싶다 요인 분석 괜찮아, 그래서이 특별한 모듈에 우리는 당신을 도울 기술을 다루게 될 것입니다에서 다른 사람들보다 약간의 우위를 점합니다 그래서 이것을 적용하면 이 기술들에 당신의 기술을 보여주십시오 업계에서 당신은 분명히 종류가있다 나머지는

우리는 심지어 재무 분야의 예 신청 방법 마케팅 분야에서 이러한 개념을 어떻게 적용 할 것인가? 범죄 분야에서 어떻게 이러한 개념을 적용 할 수 있습니까? 범죄가 다른 범죄가되고 있음을 기억하십시오 분석을위한 잠재력이 높은 산업 괜찮아 보건 산업 분야에서 어떻게 이러한 개념을 적용 할 것인가? 그래서, 이러한 특정 도구는 산업 또는 특정 분야이지만 광범위하게 적용됩니다

어디에나 재무 예를 들어 보겠습니다 금융 예를 들어보고 싶은 경우 1 년 기계 장치 금리, 2 년 기계 장치 금리, 3 년 계좌, 4 년 계좌 시장 상대적인 그 이자율은 움직이고 있습니다

어느 악기가 함께 움직이는 지 어느 악기가 함께 움직이지 않는지 또는 금리에 대해 갖고 싶은 생각이나 이 계좌에 대한 이자율 네가하는 일은 너를 달리는거야 모델은 주성분 분석으로 불린다

괜찮아 그래서 어디에서나 이 기법들이 적용되고 때때로 이 모델들의 출력은 다음과 같이 취해진 다 다른 모델과 동일합니다 예를 들어 다른 모델의 경우 요소 분석의 경우 구성 요소 분석 당신은 주 구성 요소 점수라고 불리는 출력을 얻습니다 요인 점수

어느 것을 사용 하는가? 에서 클러스터링 분석 또는 회귀 분석에서 다시 등등

AI vs Machine Learning vs Deep Learning | Machine Learning Training with Python | Edureka

안녕하세요 Edureka의 Atul입니다

토론 주제에 오신 것을 환영합니다 인공 지능 vs 기계 학습 vs 깊은 학습 이것들은 많이 혼란스러워하는 용어입니다 당신도 그들 중 하나라면, 내가 너를 위해 그것을 해결하자 그럼 인공 지능은 더 넓은 우산입니다

기계 학습 그리고 깊은 학습은 다이어그램에서 볼 수 있습니다 깊은 학습조차도 기계 학습의 부분 집합이라고 그래서 너는 말할 수있다 그 세 명 모두 기계 학습을하는 인공 지능 깊은 학습은 서로의 부분 집합입니다 그래서 계속 나아가서 이해합시다 서로 얼마나 다른지

그럼 인공 지능으로 시작합시다 용어 인공 지능 1956 년에 처음으로 만들어졌다 개념은 꽤 오래되었고, 그러나 최근에 그 인기를 얻고있다 그러나 왜 잘, 그 이유는 우리가 아주 적은 양의 데이터를 가지고 있기 때문입니다 우리가 가진 데이터는 정확한 결과를 예측하기에는 충분하지 않았습니다

하지만 지금 엄청난 금액 증가가 있습니다 데이터 통계의 제안 2020 년까지 누적 된 데이터 량이 증가 할 것이라고 대략 44 제타 바이트의 스튜 (약 44 제타 바이트) 44 조 GB 데이터의 엄청난 양과 함께 자, 우리는 더 진보 된 알고리즘을 가지고 있습니다 하이 엔드 컴퓨팅 파워 및 스토리지 그 결과 많은 양의 데이터를 처리 할 수 ​​있습니다

예상된다 엔터프라이즈의 70 %가 ai를 구현할 것입니다 향후 12 개월 동안 2016 년에는 40 %, 2017 년에는 51 % 증가했다 AI가 무엇을 잘 이해하고 있는지, 기술 일뿐입니다 복제로 기계가 인간처럼 행동 할 수있게 해줍니다

인공 지능과의 행동 및 성향은 가능하다 기계가 경험에서 배우기 기계는 단지 응답 기반입니다 인간과 같은 작업을 수행하여 새로운 입력에 인공 지능은 달성하도록 훈련받을 수 있습니다

많은 양의 데이터를 처리하여 특정 작업 수행 그들 안에있는 패턴을 알아내는 것 당신은 고려할 수 있습니다 인공 지능을 만드는 것은 건물과 같습니다 교회는 최초의 교회가 세대를 거쳐 완성되었습니다 그래서 대부분의 노동자들 그 일을하고있는 사람들은 최종 결과를 보지 못했습니다

그것에 공예 건물 벽돌에 자부심을 가지고 돌을 치는 그것은 위대한 구조에 놓이게 될 것입니다 AI 연구자들처럼, 우리는 겸손한 벽돌 제조사로 생각해야합니다 그의 직업은 공부하는 것이다 구성 요소를 작성하는 방법 예제 파트는 플래너입니다 또는 학습 알고리즘 또는 무엇이든 받아들이십시오

언젠가는 누군가와 어딘가가 통합 될 것입니다 지능 시스템에 몇 가지 예를 들어 우리 일상에서 인공 지능의 우리의 애플 시리즈 그냥 컴퓨터 테슬라 자기 – 운전 자동차를 재생 이보다 더 많은 예제는 깊은 학습을 기반으로합니다 자연 언어 처리 글쎄, 이것은 인공 지능과 그것이 과대 광고를 얻는 방법에 관한 것이 었습니다 그럼 계속 전진해라

기계 학습에 대해 논의하고 그것이 무엇인지 알아 봅시다 그리고 화이트 프로가 소개되었습니다 그럼 기계 학습이 왔습니다 80 년대 후반과 90 년대 초에 존재하게되었고, 그러나 사람들과 관련된 이슈는 무엇 이었습니까? 기계 학습이 생겨나게 만들었습니까? 통계학 분야에서 하나씩 차례로 토론합시다 문제는 얼마나 복잡한 복잡한 모델을 효과적으로 훈련 시키는가? 컴퓨터 과학 및 인공 지능 분야

문제는 AI 시스템의보다 강력한 버전을 교육하는 방법이었습니다 동안 연구자들이 직면 한 신경 과학 문제의 뇌의 수술 모델을 설계하는 방법 그래서 이것들은 몇 가지 이슈들이다 그 영향력이 가장 커서 존재를 이끌어 낸 기계 학습의 이제이 기계 학습은 그 초점을 바꿨습니다 상징적 접근으로부터

그것은 인공 지능으로부터 물려 받았고 움직였다 방법과 모델을 향해 그것은 통계와 확률 이론에서 빌렸다 그래서 진행하고 봅시다 기계 학습이란 정확히 무엇입니까? 그럼 기계 학습은 AI의 하위 집합입니다 어떤 컴퓨터가 행동 할 것인가? 특정 작업을 수행하기 위해 데이터 기반 의사 결정을 내릴 수 있습니다

이 프로그램은 알고리즘이 시간이 지남에 따라 배우고 향상시킬 수있는 새로운 데이터에 노출되었을 때 기계 학습의 예를 보도록하겠습니다 시스템을 만들고 싶다고합시다 그 측면에 기반한 사람의 예상 체중을 알려줍니다 가장 먼저 데이터를 수집합니다 거기에 보자

이제 각 지점의 데이터가 어떻게 보이는지 그래프의 첫 번째 데이터 점을 나타냅니다 우리는 간단한 선을 그릴 수 있습니다 높이를 기준으로 체중을 예측합니다 예를 들어, 간단한 선 W는 대기 x kgs에서 100을 뺀 값과 같습니다 가장자리는 숨 깁니다

이 선은 우리가 예측을하는 데 도움이 될 수 있습니다 우리의 주요 목표는 차이를 줄이는 것입니다 추정 된 값과 실제 값 사이의 값 그래서 그것을 성취하기 위해서 우리는 직선을 그려 봅니다 이 모든 다른 점들에 꼭 맞는 오류를 최소화하십시오

따라서 우리의 주요 목표는 오류를 최소화하는 것입니다 가능한 한 작게 만들어 오류를 줄입니다 또는 실제 값에서의 차이 예상 값은 성능을 향상시킵니다 더 많은 데이터 포인트에서 모델의 우리는 더 나은 것을 수집합니다 우리의 모델은 우리가 될 것입니다

변수를 추가하여 모델을 개선 할 수도 있습니다 그 (것)들을위한 다른 생산 라인을 창조하십시오 일단 라인이 생성됩니다 그래서 다음에 우리가 새로운 데이터를 먹이면, 예를 들어 모델에 대한 사람의 높이, 그것은 당신을위한 자료를 쉽게 예측할 것이며 당신에게 말할 것입니다 예상되는 체중은 무엇 일 수 있습니다 네가 분명히 이해했으면 좋겠어

기계 학습 그럼 계속 전진해라 깊은 학습에 대해 배우자 이제 깊은 학습이란 무엇입니까? 로켓 엔진으로 깊은 학습 모델을 고려할 수 있습니다 그 연료는 엄청난 양의 데이터입니다

우리는 이러한 알고리즘에 개념을 제공합니다 깊은 학습은 새로운 것이 아니며, 하지만 최근에는 증가하고 깊은 학습은 더 주목을 받고있다 이 필드는 특정 종류의 기계 학습입니다 그것은 뇌 세포의 기능을 뉴런이라고 부릅니다 인공 신경 네트워크 (artificial neural network)의 개념을 이끌어 냈다

간단하게 모든 인공 뉴런 사이의 데이터 연결 데이터 패턴에 따라 더 많은 뉴런을 조정합니다 크기에 추가됩니다 데이터의 크기가 커서 자동으로 기능합니다 여러 수준의 추상화에서 학습 이로써 시스템 허용 의존하지 않고 복잡한 함수 매핑을 배우기 특정 알고리즘에

있잖아, 아무도 실제로 무슨 일이 일어나는지 알지 못한다 신경 네트워크 내부에서 왜 그렇게 잘 작동하는지, 그래서 현재는 블랙 박스라고 부를 수 있습니다 깊은 학습의 예를 들어 보겠습니다 더 나은 방법으로 그것을 이해하십시오 간단한 예부터 시작하여 설명해 드리겠습니다

상황이 개념적 수준에서 어떻게 발생하는지 우리가 시도하고 이해하자 다른 모양의 사각형을 어떻게 인식합니까? 가장 먼저 할 일은 그림과 연관된 네 줄이 있는지 여부 아니면 단순한 개념이 아닌가? 예인 경우 추가 확인 그들이 연결되어 있고 몇 년 후에 다시 폐쇄되면 드디어 확인해 그것이 수직이고 모든면이 동일하든간에, 성취한다면 정확하다 예, 사각형입니다

글쎄, 개념의 중첩 된 계층 구조 일 뿐이다 우리가 여기서 한 것은 복잡한 작업을 수행했습니다 사각형 식별하기 이 사건은 단순한 작업으로 나뉘어져 있습니다 이제이 깊은 학습은 똑같은 일을합니다 그러나 더 큰 규모에서, 다음을 인식하는 기계의 예를 들어 봅시다

기계의 작업이 인식하는 동물 주어진 이미지가 고양이인지 개인지 여부 개념을 사용하여 동일한 문제를 해결하도록 요청받은 경우 어떻게해야합니까? 우리가 먼저 할 일을 배우는 기계 우리는 다음과 같은 기능을 정의 할 것입니다 짐승이 수염을 가지고 있는지 수표에 수표가 있는지 확인하십시오 동물이 귀를 가리킨다면 또는 그 꼬리가 직선인지 짧게 꼬인지를 결정할 수있다 우리는 얼굴의 특징을 정의하고 시스템은 어떤 기능이 더 중요한지 식별합니다

특정 동물을 분류 할 때 깊은 학습에 관해서는 앞서 한 걸음 씩 나아 간다 깊은 학습은 자동으로 기능을 찾습니다 분류 비교에서 가장 중요한 것 기계 학습으로 여기서 우리는 수동으로 그 기능을 수동으로 제공해야했습니다 네가 이해 한 것 같아 인공 지능은 더 큰 그림과 기계입니다

깊은 학습 또는 별개의 문제입니다 그럼 계속 나아가 자 기계 학습에 대한 토론을 집중 그리고 그 차이를 이해하는 가장 쉬운 방법을 깊이 배우라 기계 학습과 깊은 학습 사이를 아는 것입니다 깊은 학습은 기계 학습입니다

그것은 기계 학습의 다음 진화입니다 몇 가지 중요한 매개 변수를 취해 봅시다 기계 학습과 심화 학습을 비교하십시오 그래서 데이터 의존성부터 시작해서, 깊은 학습의 가장 중요한 차이 기계 학습은 볼륨으로서의 성능입니다 아래 그래프에서 데이터가 증가합니다 당신은 데이터의 크기가 작은 깊은 학습 알고리즘은 잘 수행하지 않습니다, 그러나 왜 잘, 이것은 깊은 학습 알고리즘 요구 때문에 대용량의 데이터를 완벽하게 이해하기 반면에 기계 학습 알고리즘은 쉽게 작은 데이터 세트로 잘 작동합니다

다음은 하드웨어 종속성에 대한 심층 학습입니다 하이 엔드 기기에 크게 의존하고 있습니다 동안 기계 학습 알고리즘은 낮은 시스템과 기계에서도 작동 할 수 있습니다 이것은 요구 사항 깊은 학습 알고리즘의 포함 gpus 필수적인 부분 인 깊은 학습 알고리즘을 작동시키는 데 gpus가 필요합니다 그들이하는 것처럼 다량의 행렬 곱셈 연산, 및 이러한 작업 GPU를 사용하여 효율적으로 최적화 할 수 있습니다

이 목적으로 지어 졌기 때문입니다 세 번째 매개 변수 만 기능 엔지니어링 잘 기능 엔지니어링 될 것입니다 복잡성을 줄이기 위해 도메인 지식을 넣는 것 데이터의 패턴을 학습 알고리즘에보다 잘 보이게 할 수 있습니다 이 과정은 시간면에서 어렵고 비용이 많이 듭니다 기계 학습의 경우 전문 지식을 갖추고 있습니다 대부분의 기능은 전문가가 식별해야합니다

도메인별로 손으로 코딩 및 데이터 유형 예를 들어, 기능 픽셀 값 모양 텍스처 위치 방향 일 수 있음 또는 아무것도 괜찮아요 대부분의 기계 성능 학습 알고리즘은 의존한다 기능이 얼마나 정확하게 식별되는지 추출 반면에 깊은 학습 알고리즘의 경우 그것은 데이터에서 높은 수준의 기능을 배우려고합니다 이것은 깊은 학습에서 매우 특징적인 부분입니다 어떤 방향으로 나아가는가? 깊은 기계 학습을 학습하는 전통적인 기계는 작업을 줄인다 모든 문제에 대한 새로운 피쳐 추출기 개발 CN의 경우와 같습니다

n 알고리즘을 사용하여 먼저 저수준 기능을 배우려고합니다 가장자리와 선과 같은 이미지의 그런 다음 사람들의 얼굴 부분으로 진행합니다 마지막으로 고수준 표현으로 얼굴의 나는 상황이 당신에게 더 명확 해지기를 바랍니다 이제 다음 매개 변수를 살펴 보겠습니다

그래서 우리의 다음 매개 변수는 문제 해결 접근법입니다 우리가 해결할 때 전통적인 기계 학습 알고리즘을 사용하는 문제 일반적으로 추천된다 우리가 먼저 문제를 해결 한 다른 하위 부품으로 개별적으로 해결 원하는 결과를 얻으려면 마침내 결합하십시오 이것은 기계 학습 알고리즘이 Lm을 처리하는 방법입니다 반면에 딥 학습 알고리즘 문제를 끝에서 끝까지 해결합니다

이것을 가정 해 봅시다 여러 개체 검색 작업이 있습니다 그리고 당신의 임무는 신원을 확인하는 것입니다 물체가 무엇이고 물체가 이미지의 어디에 있는지 그래서 보자

너는 어떻게 태클 할거야? 기계 학습 개념을 이용한이 문제 기계 학습으로 시작하는 깊은 학습 일반적인 기계 학습 접근법에서 당신은 먼저 나눌 것입니다 2 단계 첫 번째 물체 감지로 문제 그리고 나서 물체 인식 가장 먼저, 당신은 바운딩 박스 탐지 알고리즘을 사용할 것입니다 예를 들어 이미지를 스캔하기 위해 잘라낸 잡기 가능한 모든 대상을 찾으십시오 이제 일단 객체들 당신은 객체 인식 알고리즘을 사용하여 인식됩니다 관련 객체를 인식 할 수있는 돼지와 svm을 좋아합니다

자, 마침내, 결과를 결합하면 식별 할 수 있습니다 객체 란 무엇인가? 다른 쪽의 이미지에있는 곳 깊은 학습 접근 방식으로 끝에서 끝까지 프로세스를 수행합니다 예를 들어 유로 넷에서 이는 깊은 학습 알고리즘의 한 유형입니다 당신은 이미지를 전달하고 그것을 줄 것입니다 객체의 이름과 함께 위치

자, 움직여 보자 우리의 다섯 번째 비교 매개 변수에 실행 시간 보통 깊은 학습 알고리즘은 오랜 시간이 걸린다 이것을 훈련시키는 것은 왜냐하면 너무 깊은 학습 알고리즘의 많은 매개 변수 그 훈련은 보통 때보 다 더 오랜 시간이 걸린다 심지어 2 주 이상 지속될 수도 있습니다

당신이 처음부터 완전히 훈련하는 경우에, 기계 학습의 경우 상대적으로 몇 주에서 몇 몇 예술에 이르기까지 훈련하는 데 훨씬 적은 시간 이제 실행 시간이 완전히 뒤 바뀌 었습니다 테스트 중 데이터 테스트를 할 때 딥 학습 알고리즘은 실행 시간이 훨씬 적습니다 반면 당신이 KNN 알고리즘과 비교한다면, 기계의 한 종류 인 학습 알고리즘 테스트 시간은 크기로 증가합니다 마지막으로 데이터가 증가합니다

그러나 적어도 우리는 해석 가능성을 가지고 있지 않다 기계 학습의 비교를위한 요소 이 사실을 실행하는 것이 왜 주된 이유입니까? 깊은 학습은 여전히 ​​10 번 생각된다 누구든지 업계에서 사용하기 전에 가정 해 봅시다 우리는 깊은 학습을 통해 자동 득점 2 에세이 성능 득점력이 아주 뛰어나다

인간의 성과에 가깝다 하지만 문제가 있습니다 그것은 백인이 그 점수를 주었다는 것을 밝히지 않습니다 참으로 수학적으로 알아낼 수있다

깊은 신경 네트워크의 어떤 노드가 활성화되었는지 그러나 우리는 모른다 뉴런이 모델링 한 것으로 추정되는 것 우리가 집단적으로하고있는 이러한 뉴런 계층은 무엇입니까? 그래서 해석 할 수 있다면 알고리즘을 학습하는 다른 기계의 결과, 같은 의사 결정 나무는 우리에게 무효 선택의 선명한 규칙을 준다 및 물결 무늬가있는 선택했다 따라서 추론을 해석하는 것이 특히 쉽습니다 그러므로 의사 결정 트리와 같은 알고리즘 선형 또는 물류 회귀는 주로 업계에서 해석 가능성을 위해 사용됩니다

이 세션을 끝내기 전에 내가 물건을 요약하자 당신을 위해 기계 학습 알고리즘을 사용하여 데이터를 구문 분석 데이터로부터 배울 수있다 잘 배운 내용을 토대로 정보에 입각 한 결정을 내릴 수 있습니다 이제이 깊은 학습 구조 알고리즘 인공 신경 네트워크를 만드는 레이어 배울 수있는 마침내 지능형 의사 결정을 내릴 수 있습니다

깊은 학습은 기계 학습의 하위 분야입니다 두 가지 모두 넓은 범주에 속합니다 인공 지능 깊은 학습의 일반적이다 가장 인간과 비슷한 것 인공 지능 음,이게 전부 였어 의심이 있으시면 오늘의 토론을 위해 의견 섹션에 쿼리를 자유롭게 추가하십시오

고맙습니다 이 비디오를 듣고 즐거웠 으면 좋겠습니다 그것을 좋아할 정도로 친절하세요 의심과 검색어에 대해 의견을 말할 수 있습니다 우리는 그들에게 대답 할 것이다

가장 빠른 시일 내에 우리의 재생 목록에서 더 많은 동영상을 찾으십시오 Edureka 채널을 구독하여 자세히 알아보십시오 행복한 학습

BTS FAKE LOVE EXPLANATION | What do the items and rooms mean? [SOLVED]

제가 이번에 페이크러브 뮤비해석을 준비해왔습니다! 방탄소년단과 빅히트가 데뷔초부터 준비해 온 이야기입니다 모든 자료들은 화양연화 노트와 하이라이트 릴에서 찾았습니다

영상자료들은 뮤비, 티저, 하이라이트등에서 가져온거구요 다 정확하다고 말할 순 없지만, 지금까지 제가 찾아내고 이해해보려 했던 것들 입니다 페이크 러브 뮤비해석 마술 가게는 두려움을 긍정적인 태도로 바꾸는 심리극의 기법입니다 마술 가게는 상상 속에 존재하는 정신적 재활입니다 심리극은 누군가의 삶을 조사하고 통찰력을 얻기 위해 심리 치료로 자주 사용되는 수법입니다

방탄소년단은 자신들을 행복하게 만드는 무언가를 위해 과거의 두려움을 교환합니다 그 물건들은 방탄소년단 멤버들의 충격적인 기억을 상징합니다 진 – 이어피스 진은 항상 아버지나 교장 선생님의 꼭두각시였죠 고등학생 시절, 진은 교장선생님께 그들의 비밀 은신처가 어디에 있는지 말했죠 그로인해 슈가는 퇴학을 당했구요

BTS memories of 2015 한 장면에서 진은 과연 무엇을 위해 이어피스를 교환한걸까요? 뮤비에서 보여주진 않았지만, 빨간 다이어리, 스메랄도 꽃, 아님 카메라를 받았다 짐작해봅니다 호비 – 스니커즈 초코바 스니커즈 초코바는 그의 엄마가 호비를 버리기 전 두고가신 초코바를 상징합니다

호비는 과연 무엇을 위해 초코바를 교환한걸까요? 케이크 – 십년지기 친구 지민 – 숲의 사진 저도 아직은 이 사진에 담겨있는 뜻이 무엇인지 잘 모르겠습니다 하지만 지민이가 8살때 일어난 사고와 관련있는것 같습니다 그때 수목원에서 일어난 일은 지민이에게 많을 상처를 주었고 그의 발작을 일으키며 그가 거짓말을 하게 만들었다 추리해봅니다 지민이는 과연 무엇을 위해 사진을 교환한걸까요? 바로 우산입니다 그러나 아직까진 우산의 좋은영향은 보지못했네요

알엠 – "살아 남아야 한다"가 써있는 거울조각 알엠이 "살아 남아야 한다"라고 쓴적은 과거에도 많이 있죠 알엠은 가난하게 자랐습니다 알엠이 제일 힘들때 자신을 위해 쓴 메모입니다 알엠은 과연 무엇을 위해 거울조각을 교환한걸까요? 바로 여자한테 줄 머리끈이었습니다 "우리는 한달 가량 같은 도서관에서 공부하고 같은 버스 정류장에서 같은 버스를 탔다

하지만 우리는 서로 한마디도 하지 않았다 머리 끈은 아직도 내 주머니에 있었다 저는 그녀가 전단지를 나눠 줄 것인지, 그녀가 어떤 것들을 견디고 있는지 궁금했다" 슈가 – ????? 슈가가 무엇을 교환했는지는 아무도 모릅니다 근데 그물건이 피아노 건반일 가능성이 크다고 생각합니다

화양현화 노트에서 슈가가 책상에서 피아노 키가 들어 있는 봉투를 꺼냈었습니다 그 피아노 건반은 슈가의 어머니를 죽인 화재 때문에 불에 탄 어머니의 피아노에서 나온 것이었습니다 슈가는 과연 무엇을 위해 그 물건을 교환한걸까요? 막대사탕입니다 바로 하이라이트 릴의 여자와 관련있는 막대사탕이죠 태형 – ????? 태형이가 무엇을 교환했는지는 아무도 모릅니다 근데 그물건이 핸드폰일 가능성이 크다고 생각합니다

그 핸드폰은 태형이가 아버지랑 있었던 사건 후에 알엠형한테 전화하려던 핸드폰일 것 같네요 태형이는 과연 무엇을 위해 그 물건을 교환한걸까요? 가방이네요 하이라이트 릴에서 태형이랑 관련된 여자의 가방이죠 같이 지내면서 친해진 것 같은데요 정국 – ????? 정국이가 무엇을 교환했는지는 아무도 모릅니다

설마 자기자신일 수 있을까요? 형제들이 슬플 때, 아플 땐 내가 아플 때보다 더 아프다 (Begin 정국 솔로곡) 정국인 과연 무엇을 위해 그 물건을 교환한걸까요? 바로 열쇠입니다 무엇을 여는 열쇠일까요? 형들의 행복? 자신을 위한 행복? 결국 정국이는 자기 자신을 마주하게 됩니다 진은 스메랄도 꽃을 지키려고 했죠 하지만 끝내 지키지 못했습니다 진이 하이라이트 릴의 여자를 지켜주지 못했다는 걸 보여주네요

그녀는 길 한복판에 누워 있었다 그녀의 머리카락 사이로 피가 흐르고 있었다 붉은 피가 거리를 따라 흘렀다 나는 생각했다 내가 시간을 돌려놓을 수만 있다면

(석진 notes – 830 Year 22) 컨테이너는 알엠의 은신처를 상징합니다 가난해서 컨테이너에서 살았죠 왼쪽에 메달린 손잡이는 하이라이트 릴의 여자를 항상 만나는 버스를 상징합니다 이 방은 호비가 엄마와의 마지막 추억인 놀이공원을 상징합니다

호비는 두려움을 이겨 내기 위해 노력했죠 끝까지 두려움에 맞서야 했습니다 지민이는 화장실/연습실 안에 있네요 친구와 연습하며 심하게 부딪친 사건을 기억하는거 같네요 거울을 보니 비를 맞으며 도망 간 8살때 자신이 보였다

(지민 notes – 704 Year 22) 지민이가 무슨 일이 일어났는지 깨달았을 때, 호비는 이미 그 소녀를 병원으로 옮겼갔죠 "할 수 있는 일이 없었다 내가 할 수 있었던 것은 넘어져서 누군가를 다치게 하고, 홀로 남겨 두고 가서 내 고통에 벌벌 떠는 것이였다" 태형이의 방은 핸드폰으로 가득하네요 ㅎㅎ 그 핸드폰은 태형이가 아버지랑 있었던 사건 후에 알엠형한테 전화하려던 기억을 상징하는거 같네요

"save me" 그래피티는 하이라이트 릴의 여자를 상징하는데요 슈가의 방은 옛날의 불에 탄 집을 상징하는데요 피아노는 엄마를 상징하는 것 같네요 정국이의 방은 깜깜하죠 하지만 형들을 항상 찾구 돌보고 있죠? 그리고 다른 멤버들은 정국이가 지켜보고 있는 사실을 알구요

과연 정국이가 '오멜라스를 떠나는 사람들'의 아이일까요? 정국이가 도시 아래에 갇혀 끔찍한 환경 속에서 오멜라스의 도시사람들의 행복을 위하여 고통받으면 살아야 하는 아이를 상징하는것일까요? 결국, 정국이는 무엇을 열쇠로 열었을까요? 자신의 행복이 아닐까요? 그래서 다른 멤버들이 다시 두려움을 맞이하게 된 것이 아닐까요? 그 때서야 방탄소년단 멤버들은 교환한 물건들이 단지 일시적인 행복을 위한 것이라는 것을 깨달았습니다 페이크 러브 (거짓된 사랑) 진이 있던 방으로 들어간 정국 멤버들은 이제 더 이상 상처를 감추기 위해 마스크를 쓸 수 없었습니다 이러한 가면들 때문에, 그들은 더 이상 자기도 자기자신이 누구인지도 알지 못하게됐죠 결국 멤버들은 자기 자신을 마주 해야 했습니다 진심으로 자기 자신을 사랑하기 위해서 그래야만 했습니다

BTS 타임라인에 대해 자세히 알아보구 싶으시면 모든 노트와 정보를 연대순으로 정리한 비디오도 만들어 보았습니다 끝까지 봐주셔서 감사합니다

버킷리스트 💙수중촬영💙 하고왔어요!! [헤.사.세 Vlog] Underwater Shooting Vlog (with CC Subs) | Heizle

#fourplaza_underwater_studio 안녕하세요 여러분, 나는 수중 스튜디오에 도착했습니다! 너무 무서워 정말 깊게 보입니다 하지만 총격은 끝날거야

그 얕은 영역에서 하지만 여전히 무서운 잘 할 수 있을까요? 오 세상에 오늘 방수 화장을 했어

정말 밝고 빡빡합니다 눈썹도 평소보다 어둡다 오늘 촬영의 주제와도 일치합니다 메이크업은 오늘 문제가되지 않습니다 제가 할 수 있을지 모르겠습니다 오늘 촬영을 잘

여기 Fourplaza 스튜디오에서 한 총격 사건이에요

유명 인사도 많이 있습니다 너무 멋지다! 왜 내가 이걸 신청했는지 모르겠다 🙂 이것은 안으로 들어가는 길입니다 스트레칭은 어떻게합니까? PT 점프? 내가 죽지 않는다면 괜찮아 나는 소리를 깨는 소리를들을 수있다 나는 차가운 온도에 매우 민감하다 : ( 1 시간 동안의 슈팅은 좋은 선택이었습니다 너에게 너무 추울 수 없다면 말이지 너무 추워서 좋겠어

( 포즈를 취하는 것에 대해 생각 했습니까? P 자세 ? 물 위를 걷 자마자 모든 것을 잊어 버린다 마침내, 그녀는 물 속에있다 왜 계속 그녀가 떠오르는거야? 권자 그녀의 다리는 롤과 일치하지 않습니다 그녀의 노예를위한 준비 :() 당신이 최선'?! 오 주 lol 나는 네가 수영하는 법을 모른다고 생각하지 않는다

나는 수영이 잘 안되는 것으로 나타났다 너는 수영을 좋아한다고 말했다 나는 물에 빠져 있지만 수영은 잘하지 않는다고 생각합니다 이제 그녀는 말하고 !! 해초 ^ 0 ^ 다시 한번 좋은 것! 이제 그녀는 말하고있다 !! 그녀는 아주 잘 잡고있다 그녀도 포즈를 취할 수 있습니다 !!! 좋았어! 너 멋져 보이네, 낙원 !! 존경의 제비! 그녀는 그녀를 구해 냈습니다>, < 이제 그녀는 소품을 사용할 수 있습니다 너는 너무 위대하다, 낙원! 거울을 사용! 그녀는 미소를 짓고 머리를 쓸어 쓸 수 있도록 개선되었습니다! 너무 춥다! 나는 거의 내 마음에서 벗어났다 << 당신은 나를 위해 많이 주셔서 감사합니다 🙂

니니즈 앙몬드 & 스카피 의인화 그리기! | 캐릭터 이모티콘 | 웹툰 일러스트 그리기 | 유튜브 자막 有 | 남캐 그리기 | drawing anime | 난희

~제목 나오는 중~ 니니즈 의인화 앙몬드 & 스카피편! (자막 : 난희) 안녕하세요 여러분 만화 그리는 난희입니다 오늘은 니니즈 캐릭터들을 인간의 형태로 한 번 그려보게 되었어요

평소에는 3등신의 난희 그림체로 그렸다면 이번에는 7등신으로 한 번 그려볼게요 BGM이 좀 평화롭죠? 제가 이걸 밤에 편집해가지고 좀 시끄러운 음악보다 힐링이 되는 음악을 듣고 싶더라고요 제가 원래 클래식을 되게 좋아해가지고 그래서 보시다가 편안 하게 주무시라고 이렇게 BGM을 클래식으로 깔았습니다 근데 솔직히 생각해봤는데 이 영상을 그냥 끝까지 본다는 게 쉬운 일이 아닌 것 같아요 그래가지고 좀, 더빙을 하는 김에 이런 저런 이야기를 해볼까 해요 라디오인가? ㅎㅎㅎ 하나만 해야 되 는데 ༼ ˃ɷ˂ഃ༽ 지금 옷주름을 그려주고 있습니다 저 원래 손가락도 그렇게 잘 그리는 편이 아닌데 옛날에는 이 정도도 못 그렸거든요 연습을 하다 보니까 손도 좀 그릴 수 있게 된 것 같아요 아 그리고 제가 남자 캐릭터들로 그린 이유는 그냥

⁽⁽◝༼•̀ɷ•́༽◜⁾⁾ 큰 의미는 없고 제가 여캐보다 남캐를 잘 그리는 것 같더라고요 이유는 잘 모르겠어요

하지만 다음번에는 여캐로 도전을 해보겠습니다 지금 명암을 넣어주고 있어요 제가 명암을 원래 채도를 낮게 낮게 썼었는데 채도를 낮추는 것 보다 약간 분홍색끼가 들어가는 채도가 낮은 색을 해주면 애니메이션 같은 느낌이 나더라고요

제가 어떤 애니메이션을 보다가 그걸 색상을 한 번 뽑아봤는데 아~ 약간 분홍빛으로 하는 게 훨씬 더 뭔가 명암이라고 해야되나 더 잘 대비가 되는 것 같더라고요 그리고 마무리 할 때 이렇게 선을 조금 더 외곽선을 굵게 해주면은 입체감이 생기는 것 같아요 이렇게 마무리 를 해주면은 완성이 됩니다 스읍 무슨 말이지? 하트도 그려줘야 되고 홍조도 그려줘야해요 언니가 그림보고 변태같다고

전 그냥 앙몬드를 그린 것 뿐입니다 오 완성!! (박수) 자 이제 앙몬드가 끝났으니 스카피를 그려볼게요 스카피는 원래 지금 씻고 나온 거잖아요 그래가지고 벗은 몸을 그리려고 했었거든요

근데 좀, 수위에 맞지 않는 그림이 될 것 같아서 그리다 보면 나중에 옷을 입히는 저의 모습을 볼 수 있습니다 이 뭔가 라디오 같은 느낌 ⁽⁽◝༼•̀ɷ•́༽◜⁾⁾ 최근, 근황을 좀 말씀드릴까 하는데 제가 원래 일복이 없었거든요 그래서 집에 굴러다녔는데 최근에 좋은 일들이 많이 들어온 것 같아요 그래서 원래 일을 하나만 하다가 지금은 쓰리잡을 넘어서 포잡까지 앞두고 있습니다, 일 하나는, 약간 약간 비밀이어서 얘기하기는 좀 그런데 기획,하는 부분을 하나 하고 있고요 스타트업에서 또 하나는 엄청 유명한 유명한 여러분도 아시는 아 이거 말하면 안 되는데 그냥 여러분이 아실만한 분들을 돕는 일을 하고 있어요 그거에 대해서 정확하게 아마 4월(말)쯤에 제가 뭘 했다 말씀드릴 수 있을 것 같아요 왜 나는 다 이상한 비밀 이런 것만 하지 ༼ ˃ɷ˂ഃ༽ 비밀 수사대 이런 건 아닌데 그 다음에 또 하나 더 이건 비밀이라고 할 것 까지는 없고 출판을 준비하고 있어요

제의가 들어와가지고 근데 아쉽게도 아냐 아쉬운 건 아니고요 좀 저는 책 자체가 의미가 있었으면 해가지고 나오는 김에 조금 도움이 될만한 것들을 내고 싶다는 생각을 했었는데 마침 그런 IT 인터넷 관련 유명 출판사에서 연락이 온 거예요 그래가지고 되게 재미있는 책을 기획하고 있어요 근데 이것도 좀 빠르게 진행이 될 거여가지고 아마 결과 공지는 금방 드릴 수 있을 것 같고요 아마 여러분의 좋은 라면 받침대가 되지 않을까 생각하고 있습니다 귀를 그려줬었는데 조금 안 맞는 것 같아서 다시 그려줬어요 (자막 실시간 업데이트 중입니다! 지금 부터는 자막이 나오지 않습니다 자막 업데이트는 조금만 기다려주세요

ㅜㅇㅜ)

[레인그란츠] BL ASMR | 낮져밤이x낮이밤져 인쓰 남자들의 HOT한 대화 | BL HOT CONVERSATION

이 영상은 다소 폭력적인 언동이나 성적 묘사가 포함되어 있습니다 팀 빠시네이토의 가치와는 관계없이 실제 인물과는 관계 없습니다

이 영상에 나오는 대사를 흉내 마십시오 낮 음 밤 승리 공격 X 낮 승 밤 부정적인 받아 낮 승 밤 부정적인 받아 낮 이봐, 오레 수 있었어요 뭐 했습니까? 요리? 그런 일도 할 수 있습니까? 한 번 맛 있 었는가? 오 좋네 맛을 듣고 있습니까? 애기똥풀 씹어 먹는 것보다 조금 낫 네요 당신 이런 쓸모없는 일에 손을 빼지 않고 나를 위해 그 힘을 아껴 두십시오 이런 일하지 마라 알았어? 나중에 만나요 씻어 와요 낮 승 밤 부정적인 받아 밤 거기 싫다고하면 거기에 약한 것을 알고하면서 아파 응? 다른 곳에 해줍니다 아파서 약간 아프지 않게 아니 말은 듣지 않으면 안되는데 듣는데 너무 아픈 약간 약하게 알았습니다

미안 해요 알았습니다 듣습니다 알았습니다 얌전합니다 감사합니다 알았습니다

좀 참아 요 당신을 사랑합니다 낮 음 밤 승리 공격의 낮 왔나요? 당신에게 주려고 오늘 요리했습니다 오늘 하루 종일 연습했는데 한 번 먹어보고 있습니까? 어떻습니까? 그렇습니까? 좋아요 어쩔 수 없지 그래, 씻고 오세요 당신 말대로하기 때문에 준비하고 있어요 낮 음 밤 승리 공격의 밤 왜 이제 와서 벗으면? 기대 잖아? 내가 네 말대로 당신 말이 이렇게 힘을 모아했는데

입 아픈 말하지만, 몸은 왜 이렇게 정직이야? 이렇게 엉덩이를 두드리는 때마다 느낌이 다르다 잖아 더 이렇게 나를 위해 봉사하는 삶을하기로했다 않을까 그렇지이야

이렇게, 더 힘내 이것이 최선이야? 이것이 최선인가 더, 더, 더 하면 잘 할 수 있잖아 항상 이렇게하면 좋다 기대하고 있습니다 당신 내일 저녁에 만나요 여기서 끝나면 외로우니까, 신음 통합 본

News Korea | 새로운 소식 : 김풍 결혼 여자친구와 엄청난 수입 이유

김풍 결혼 여자친구와 엄청난 수입 이유 이 시절에 김풍은 별다른 수입이 없었습니다 그럼에도 불구하고 이전의 폐인 캐릭터도 큰 돈을 벌었기 때문에, 이걸 바탕으로 생활할 수가 있었죠

      김풍: 당시 웹툰 싸드 아일랜드도 그렸는데, 쫄딱 망했다 결국 웹툰이 잘 안 되니까 선뜻 다시 도전을 못 하게 되었다 두려웠기 때문이다     김풍: 다시 만화가로 활동하려고 했다 부랴부랴 만든 기획안을 내봤지만, 번번이 거절당했다

이때 트위터에 몰두했다     김풍: 2009년 여름에 트위터를 시작했다 내가 한두 마디 던지면 사람들이 공감해주고, 라면 끓여 올리면 사람들이 반응해주고     김풍: 트위터에는 사람들의 공감에 대한 매력이 있었다 집에서 쉽게 해먹을 수 있는 요리 레시피, 솔직한 생각, 유머 등을 트위터에 올리니, 사람들이 큰 관심을 보였다

    김풍: 돈이 아무리 많아도 4년 동안 논다는 건 대단한 일이다 나 스스로도 기적이라 생각한다           사실 김풍이 요리에 대하여 관심을 갖게 된 것은 2009년 이전입니다 게다가 당시에 돈도 많았기 때문에 거칠 것이 없었죠     김풍: 집 주변에 단골 바가 있었는데, 피자가 정말 맛있는 집이었다

그런데 조리장이 이탈리아로 돌아가야 해서 더 이상 운영할 수 없게 되었다고, 문을 닫는다고 하더라     김풍: 너무 아쉬운 마음에 쉐프에게 레시피를 물어봤더니 흔쾌히 알려주더라 피자에서 제일 중요한 것은 바로 온도와 숙성 시간이었다     김풍: 피자 맛이 제대로 나오려면, 섭씨 400도에 가까운 화력이 필요하다 그래서 해외 직구로 화력이 좋은 피자스톤을 사서 집에서 만들었다

    김풍: 그렇게 하니까 정말 맛이 기가 막힌 피자가 나왔다 그때부터 요리에 자신감이 생기기 시작했고, 이것저것 조리도구도 사게 되었다 다만 피자는 그 이후로는 해먹지 않았다 피자를 만든 후에 난장판이 된 주방을 치우기 힘들었기 때문이다 하하

    당시만해도 피자스톤은 구매대행으로 구입을 해야했는데, 일반인들이 구입하기에는 가격이 비싼 편이었죠 이걸 구입해서 한번만 사용했다고 하니, 김풍은 돈에 대한 어려움은 별로 없었던 것 같네요     이렇게 요리에 대한 취미를 붙이던 김풍에게, 올리브TV에서 연락이 옵니다         김풍: 내 트위터를 보고 요리프로그램에서 연락이 왔다 전문적인 지식이 없어도 되니깐 쉬운 요리를 해보지 않겠느냐고

만화 그리는 남자가 요리를 한다는 점이 신선했던 것 같다     김풍: 사실 트위터는 그냥 노는 자리였는데, 일자리가 생겼으니 운이 좋았던 것 같다     결국 약 4년동안 트위터를 신나게 하던 김풍은 2012년부터 올리브쇼에 출연하면서 쉐프로 첫발을 내딛기 시작합니다     그리고 2013년 더 지니어스에 출연하면서 다시 한번 이름을 알렸고, 2014년에는 냉장고를 부탁해에 출연하면서 쟁쟁한 쉐프들과 경쟁을 하는 야메 자취 요리로 큰 인기를 얻게 되었죠     확실히 김풍의 성공과 재기를 보면, 운이 좋았다는 사실을 부인할 수 없습니다

시대적인 흐름도 굉장히 잘 탔고, 본인 역시 이를 인정하고 있죠     김풍: 사실 내 예는 좀 특수한 상황에 가깝다 지금 내가 잉여 생활을 얘기하면서 웃을 수 있는 것도 재기했으니까 가능한 게 아닐까 한다     김풍: 원래 냉장고를 부탁해에는 용돈이나 벌어보자 라는 생각으로 참여하게 되었다 그런데 그렇게 올라 탄 배가 이렇게 큰 급류를 탈줄은 선장도, 승객들도 예상 못했다

역시 사람일은 알 수 없는 것 같다     사실 냉장고를 부탁해에 출연하게 된 것도, 원래 김풍이 쉐프로서의 자질이 높기 때문이 아니었습니다 제작진은 예능감이 없는 기존의 쉐프들 사이에서 프로그램의 재미를 더할 감초를 찾았고, 여기에 웹툰 작가이자 기존에 요리 프로그램에도 출연한 적이 있는, 김풍의 경력이 눈에 들어오게 된 것이죠     그런데 냉장고를 부탁해에서 김풍의 활약은 기대 이상이었습니다 사실 냉부해의 인기 흥행에는 김풍의 역할이 적지 않았죠

            김풍: 사실 만화가도 연출가이다 그래서 내가 출연하는 프로그램도 연출가의 입장에서 바라보게 된다 내가 만화를 때도 캐릭터들이 제 역할을 못하면 답답해지는데, 방송 프로그램 제작진이나 시청자들도 마찬가지라고 생각한다     김풍: 냉장고를 부탁해에서 내가 할 수 있는 역할을 고민했고, 프로그램 안에서 쉐프들과 케미를 살릴 수 있는 방법을 고민했다     이런 연출가적인 마인드가, 위에서 설명했던 김풍의 눈치를 많이 보는 성격과 결합하여서, 방송 프로그램에서 자신의 캐릭터르 잘 잡을 수가 있었죠

        이후 김풍은 냉장고를 부탁해의 성공을 발판으로 여러가지 예능 프로그램에 출연했고, 찌질의 역사 등의 웹툰도 다시 활동을 하게 되었죠     그런데 요즘 김풍이 방송 출연에 중점을 둔 이유는 무엇일까요? 김풍: 수입이 비교가 되지 않는다 방송 출연료와 웹툰 수입은 엄청나게 차이가 난다 요즘 방송의 위력을 알겠다 왜 다들 방송에 출연하는지 알겠다

    과거 웹툰 캐릭터 사업으로 월 매출 10억원 이상을 벌었는데, 방송으로 김풍의 수익 수입은 그 못지 않는 것 같네요         마지막으로 김풍의 여자친구, 김풍 결혼에 대한 생각입니다 위에서 설명한 것처럼 김풍은 나이트클럽과 클럽 등을 전전하면서 젊었을 때 엄청나게 놀았습니다 김풍의 전 여친이 여자 연예인이었던 적도 있었고요     박나래: 연예인 언니가 형부를 소개시켜주겠다고 해서 너무 궁금했다

어떤 분일까 했는데, 김풍 씨가 나왔다 저희를 보자마자 대뜸‘처제들’이라고 하더라     박나래: 함께 술 먹고 헤어졌는데 둘이 같이 가더라     사실 김풍 스스로도 전여자친구에 대하여 이렇게 고백하기도 했죠 김풍: 전여자친구와 어머니가 함께한 자리가 있었는데 둘 사이가 좋았다

내가 어머니께 잘 못하니까, 도리어 여자친구가 우리 사이를 중재하더라     김풍: 내가 여친과 어머니 모두에게 툴툴 거리니까, 서로 연대를 하는 것 같더라 서로 나를 혼내면서 사이가 좋아졌다     여자친구를 어머니에게까지 소개를 했다니, 김풍이 결혼까지도 생각을 했던 것 같네요     현재 김풍에게 여자친구는 없습니다

김풍: 현재 여친은 없다 없지만 공인보다 일반인들이 좋은데 사실 만날 기회도 딱히 없다     김풍: 사실 그런 자리도 만들려고 하지 않고 사실 잘 모르겠다, 하하 그리고 결혼에 대한 DNA적인 의무감은 있지만, 난 지금이 딱 행복하다     김풍: 결혼에 대한 의무가 있다

하지만 지금 이 정신 상태로는 안 될 것 같다     위에서도 설명한 것처럼, 김풍이 나이트클럽과 클럽 등으로 엄청나게 놀았으니, 딱히 결혼에 대한 환상도 별로 없을 것 같네요     마지막으로 김풍의 이상형입니다 김풍: 15데니아 반투검스가 좋다 15데니아 반투명 검정 스타킹을 신은 여자가 좋다

    김풍: 15 데니아는 실의 굵기다 얇을수록 더 많이 비친다 그래서 15데니아는 입자가 가늘어 다리가 비치는데 앞부분은 살이 비치고 옆은 그라데이션으로 까맣게 나온다 난 그런 스타킹을 신은 여자가 좋다     김풍은 인생을 즐기다가 몇년 뒤에야 결혼에 대하여 본격적인 생각을 할 것 같네요

Apache Spark Tutorial | Spark Tutorial for Beginners | Apache Spark Training | Edureka

여러분 모두에게 매우 환영합니다 Edureka의이 Spark Tutorial에 대해서

시작하기 전에 모든 사람으로부터 빠른 확인을받을 수 있습니까? 너의 오른편에 내가 크고 분명하면 너는 채팅 옵션을 찾거나 뒤로 밀면됩니다 당신은 그 중 하나의 옵션을 입력 할 수 있습니다 아주 좋아, 감사 Saurabh 그래서 당신이해야 할 일은 당신이 알아낼 수있는 것입니다 질문을하고 방금 게시했습니다

여기에 대한 응답이므로 언제든지 저를 방해하십시오 가운데 언제든지 언제든지 나는 괜찮을거야 너는 거기에서 중간에 나를 방해 할 수있어 우리는 당신의 질문을 받아 들일 수 있습니다 이 웹 세미나에서 기대할 수있는 모든 것 왜 아파치 스파크인가, 왜 아파치 스파크인가? 왜 우리는이 새로운 기술을 배우고 있습니까? 오늘날의 세계에서 이 아파치 스파크에 대해 많이 들으셔야합니다

거기 아파치 스파크는 세계에서 다음 큰 것입니다, 왜 사람들은 아파치 스파크에 대해 이야기하고 있습니까? 다음 큰 것, 기능은 무엇입니까? 아파치 스파크에서 우리가 그런 말을하고있는 것 때문에? 그 아파치 스파크는 다시 다음 큰 일입니다 Apache Spark와 관련된 사용 사례는 무엇입니까? Apache Spark 생태계는 어떻게 생겼습니까? 우리는 또한 실습 예제를 할 것입니다 세션 중과 끝에서 나는 너를 프로젝트를 통해 걸을 것이다 아파치 스파크 (Apache Spark) 그래서, 그것은 당신이이 세션에서 기대할 수있는 것입니다 더 나아가, 이제 우리가 이야기하기도 전에 먼저 아파치 스파크 (Apache Spark)에 관해서는 매우 중요합니다

빅 데이터를 이해하기 위해서는 또는 우리가 옳게 선택할 것 Apache Spark 빅 데이터에 사용됩니까? 이제 빅 데이터라는 핵심 단어는 무엇입니까? 그것이 우리가 논의 할 첫 번째 것입니다 Big Data 란 무엇입니까? Big Data는 무엇을 알고 있습니까? 귀하의 답변은 무엇입니까, 몇 가지 대답을 얻을 수 있습니까? 오른쪽에 질문 패널이 보입니다 너는 거기서 대답 할 수있어 진지하게 만들어라 이 작은 대화식, 정말 도움이 될 것입니다

이 주제를 잘 이해하고, 나는이 수업이 끝날 때까지 너에게 보증 해 줄 것이다 당신은 무엇에 관한 좋은 지식을 가지고 모두 갈 것입니다 아파치 스파크,하지만 나 좀 도와 줘야 해 대화식으로 만들 수 있습니다 너는 나에게 말할 수있다

너는 무엇을 이해 하느냐? 빅 데이터 키워드 별? 아주 좋아요, 진실입니다 매분마다 생성되는 거대한 가벼운 데이터 다양한 자원에서 인터넷에, 아주 좋은 대답 그래서 우리는 대량의 데이터가 생성되었다고 말하고 있습니다 회사 네트워크에서 켜고있어 알았어

텍스트, 이미지, 비디오, 스트림, 아주 좋을 수 있습니다 일종의 성명서 만 보아라 많은 양의 데이터가 Big Data라고 부르지 만 실제로는 이 경우 빅 데이터가 아닌 대량의 데이터를 호출 할 수 있습니까? 아니요, 소책자는 데이터의 속성 중 하나 일뿐입니다 필요한 빅 데이터가 무엇인지 계속 정의해야하는 경우 더 넓은 의미에서 정의하기 위해, 나는 말할 필요가있다 볼륨이지만 다양한 자원에서 데이터가 어떻게 생성되는지, 페이스 북은 많은 데이터 또는 뉴스를 사용하고 있으며, 의료 도메인이 모든 도메인은 빅 데이터를 생성하고 있습니다

이제 다양한 종류의 자원에 대해 말하면 그것은 우리가 또한 말하고있는 그것을 생성하고있다 이 인쇄물에 대해서 어디서 읽었습니까? 그리고 결국에는 벡터 속도에 대해서도 이야기 할 것입니다 이 데이터는 페이스 북에 대해, 단지 10 살짜리 회사를 보아라 그들은 단지 10 년이라는 아주 오래되지 않은 회사 다 또는 12 세의 회사

이제 10 년에서 12 년 사이에 페이스 북이 성장했습니다 그 데이터는 기하 급수적으로, 그들은 엄청난 양의 데이터 몇 달 전 Mark에게서 트윗을 들었습니다 페이스 북의 CEO 인 그는 페이스 북 페이스 북 타임 라인에서 그는 스폰지 백이라고 언급했다 그리고 페이스 북에는 오늘 숫자가 있다고 언급했다

생활 인구의 수와 동등한 이 그룹이 100 년 전에 그것은 큰 진술입니다, 아니 새미, 우리는 내가 제공 할 구조화되지 않은 데이터도 처리 할 수 ​​있습니다 그 시점까지 그들은 큰 일을 이야기하고 있습니다 이제 Facebook에 대한 도전입니다 얼마나 많은 양의 데이터에 대해 이야기하고 있는지 상상할 수 있습니다

이제는 사용자의 수와 관련하여 들립니다 그러한 사용 데이터, 이제 활동은 무엇인가? Facebook에서 무엇을 하시나요? 너는 짹짹 오른쪽, 어쩌면 당신은 메시지를 입력 할 수 있습니다 또한 사진을 업로드하거나, 비디오를 업로드하거나, 당신은 오디오를 바로 업로드 할 수 있습니다 이제 그들은 일종의 포맷 된 데이터입니까? 우리가 다른 아이디어를 내 누이, 대답은 옳지 않습니다 틀림없이 그들은 친절하지 않습니다

그들은 매우 좋은 형식의 데이터를 그들이 데이터와 카테고리의 다른 카테고리 이를 비 구조적 데이터라고합니다 이제는 DBMS 시스템으로 처리 할 수 ​​있습니다 그 종류의 데이터, 대답은 아니오입니다 우리의 DBMS는 모든 구조를 다룰 수 있습니다 일종의 패턴을 가진 데이터를 사용할 수 있습니다

이제 우리가 하둡에 대해서 이야기 할 때 우리는 또한 이야기합니다 오디오에 대해, 우리가 다른 말로 우리가 부르는 비디오 그것은 비 구조화 된 데이터입니다 그래서 그것은 다양한 형식의 데이터이기도합니다 우리가 데이터를 다루는 것, 그래서 우리는 단지 말할 수 없습니다 이 데이터를 보면 거대한 데이터입니다

빅 데이터 아니오, 그것은 단지 하나의 속성입니다 왜냐하면 내가 구조화되지 않은 데이터를 가지고 있다면, 본질적으로 작지만 여전히 보유하고있는 경우에도 여전히이 Hadoop의 뿌리 인 Big Data 도구를 사용합니다 그들을 해결하기 위해, 그래서 그 경우에도 사용 DBMS가 효율적이지 않기 때문에 데이터 도구 그 모든 종류의 문제를 해결하기 위해서, 그것은 하나의 문제입니다 이제 얻은 데이터는 무엇이든 얻을 수 있습니다 어떤 종류의 문제, 누락 된 데이터가있을 수 있습니다

손상된 데이터가있을 수 있습니다 Veracity라는 데이터가 또한 Big Data의 한 속성입니다 따라서 빅 데이터는 볼륨이 아니라는 것을 알 수 있습니다 그러나 여러 요소로 구성됩니다 다양한 속도, 다양성, 진실성

이 모든 것이 빅 데이터의 중요한 구성 요소입니다 12 년 만에 페이스 북에 말했다 우리가 측면에서 볼 때 데이터를 너무 많이 성장시킬 수 있습니다 큰 데이터처럼 들리는 사용자 수 자체의 사용자가 활동을 수행 한 후 자신의 플랫폼에서 얼마나 많은 데이터를 상상해 페이스 북 페이스 북뿐만 아니라 유사하게 취급 할 수도있다 우리가 Instagram에 대해서 이야기를하더라도, 매분 게시물의 상당 부분이 좋아지고 있습니다

거의 70 명이 좋아, 36,000,111 나는 매 순간 얘기하고 있는데, 나는 심지어 말하고 있지 않다 하루 기준으로, YouTube 1 분마다, 3 시간 분량의 동영상이 업로드되고 있습니다 하지만 YouTube에서 아무것도 검색하면 천천히 쿼리 할 수 ​​있습니다 어떻게 모든 데이터를 그렇게 효율적으로 처리 할 수 ​​있습니까? 우리는 매 순간 페이스 북에 대해 이야기 할 수 있습니다 뭔가를 게시하거나 뭔가를 좋아하고 있습니다

너무 많은 사건이 일어나고 있습니다, 우리는 이야기 할 수 있습니다 트위터에 대해 매분마다 좋아하는 3 개, 47,000,222 짹짹이 그렇게 많이 일어나고 있습니다 분당 활동이 일어나고 있습니다 우리는 상상할 수있는 분당에 대해 이야기하고 있습니다 지금 일어나야 할 일이 무엇이겠습니까

사실 유원지가 풍부합니다 매 2 년마다, 데이터가 두 배가됩니다 당신은 달에 도달하기를 원한다 단지 모든 데이터를 태워라 지금 너와 너는 무엇을 가지고 있고 너는 할 수있을거야

달에 두 번 도달하는 것은 데이터의 양입니다 현재 우리가 다루고있는 것 더 나아가 지금 무슨 일이 일어날 지 상상해보십시오 2020 년에 건전지를 가져 가면 나는 항상 서구에게 너희 모두가 앉아 있다고 말하고있다 데이터 폭탄에 그리고 개 폭탄에 이것은 가고있다

현재 일어나고있는 일 때문에 매우 빨리 일어납니다 데이터로 작업하는 기업이 4 ~ 5 %에 ​​불과합니다 데이터의 잠재력을 실현했습니다 이제 그들과의 도전은 그들이 주저하고 있다는 것입니다 Hadoop 도구를 사용하기에 안전한 큰 데이터로 이동 그렇지 않은 이유는 그들이 두려워하기 때문입니다

내일이 바뀌면 어떻게 되겠습니까? 큰 데이터 도메인에 좋은 지원, 그들은 사용자의 수를 얻을 것인가? 누가 그 문제를 해결할 수있을 것인가? 그들이 아직도 생각하고있는이 모든 문제들은, 그들은 같은 이유로 사용하기를 주저합니다 Big Data 도구와 같은 기술 하지만 지금은 이렇게 오래있을 수 없어 확실히 무대가 있기 때문에 DBMS를 전혀 사용할 수없는 곳 또는 그 상황에서 모든 전통적인 시스템 그들은이 전환을해야합니다 2020 년까지이 회사의 5 %가 될 것으로 예상됩니다

40 %로 성장하고 지금 당장 상상해보십시오 너는이 indeedcom 또는 nok3com에 간다 당신은 매우 많은 일이 구매 경로를 위해 나타나고있는 것을 보았습니다

빅 데이터와 모든 것, 2020 년에 일어날 일을 상상해보십시오 엄청난 수요와 종이 공급 부족 나는 당신 회사에서이 말을 분명히한다 네가 일하는 중이라면 데이터베이스 회사에서 해보자 당신은 고위 관리자가되어야합니다 어쩌면 수석 디렉터 일 수도 있고 부사장 일 수도 있습니다

때로는이 사람들을 생각해 보라 그들의 경력을 시작한 것은 정말 행운입니다 20 년 전 Oracle DB 또는 DBMS 누가 지금 막오고 있으며 오늘 그들은 VP가되었습니다 나는 여전히 소프트웨어 개발자 입장에 앉아있다 그것은 매우 일반적인 생각입니다

너의 마음에 나는 그것에 대해 꽤 확신한다 이제 당신은 정확히 같은 위치에 앉아 있습니다 내일 세대, 당신의 미래 세대 비슷한 방식으로 정확하게 생각할 것입니다 그들은 또한 같은 방식으로 생각할 것입니다 이 사람들은이 빅 데이터 영역의 운 좋은 사람이었습니다

방금 나왔다 그들은 실제로 아파치와 함께 총격을 받았다 그리고 그들은 오늘 VP가되었고 나는 여전히 앉아있다 이 위치에서, 그래서 당신은 점령 할거야 곧 도메인이기 때문에 곧 그것은 폭발 할 것입니다

그리고 이것은 나, 나는 그것을 말하고 있지 않다 이것은 시작 요원으로부터의 모든 예측입니다 분석가들과 나는 작은 것에 대해서 이야기하지 않고있다 그리고 당신은 블록을 떠날 수 있습니다, 당신은 쉽게 할 수 있습니다 사실, 많은 사람들이 가지고있는 모든 것을 얻으십시오

또한이 수준으로 와서 말하기를, 향후 5 년간의 사람들 누가 데이터 또는 아파치 스파크로 변신하지 않을 것인가? 그들은 심지어 시장에서 살아남을 수 없을 것입니다 이것은 또한 분석가에 의해 말하고있다 이제 2020 년까지 데이터의 양을 상상해보십시오 그걸 다루면, 쇼핑몰, 쇼핑 카트, 차량 및 데이터를 생성하는 이러한 종류의 이벤트 지연 될 데이터의 양을 상상해보십시오 사실 이것은 당신이이 용어에 대해 들었을 것입니다

IoT, 장치의 인터넷 그 자체로 큰 데이터가 필요합니다 왜냐하면 많은 양의 데이터를 생성합니다 그래서 주위에 많은 일들이 일어날 것입니다 Big Data Analyst에 대해 이야기하고 정확히 무엇을 말합니까? 이 Big Data Analytics는 정확히 무엇을하고 있습니까? 이제이 과정은 처음부터 웹 로그 분석이란 무엇인지 이해해주세요

웹 로그 분석은 당신이 주어진 데이터와 당신은 그것으로부터 약간의 통찰력을 생성합니다 그것으로부터의 의미있는 통찰력, 당신은 원한다 데이터에서 어떤 정보를 얻으려면 현재 데이터가 당신과 함께 앉아 있기 때문에, 당신은 데이터에 대한 어떤 생각도 가지고 있지 않습니다 데이터와 그것에 대해 전혀 모른다 하지만 그 데이터와 관련하여 일하고 있습니다

분석가로서 당신은 데이터의 의미있는 정보 이를 애널리틱스라고 부르지 만 현재 주요 문제 데이터가 대량으로 증가했기 때문에 빅 데이터 그렇게 많이 데이터를 분석 할 수있는 방법은 무엇입니까? 데이터를 사용하여 내부에서 비즈니스를 얻을 수 있습니까? 우리가 이해하고자하는 모든 요점, 이 행동은 Big Data Analytics라고합니다 이제 일반적으로 수행되는 두 가지 유형의 분석이 있습니다 첫 번째 종류의 분석을 배치 분석이라고하며, 두 번째 종류의 분석을 실시간 분석이라고합니다 그게 다 뭐니? 하나씩 이해해 봅시다 이 배치 분석이란 정확히 무엇입니까? 실시간 분석? 이제는 모두 가정에서 세탁기를 사용해야합니다

또는 세탁기에 대해 쉽게 들었습니다 이제 당신이 정말로 할 수있는 일, 당신이 수집 할 때 옷을 벗고 언젠가는 씻어 라 아니면 옷을 벗기 자마자 당신은 먼저 그것을 씻은 다음 목욕을하고 그것을 사용하십시오 따라서 일반적으로이 부분을 일반적으로 수집합니다 옷과 어쩌면 언젠가는 그냥 넣어 세탁기에서 모든 옷을 처리하십시오

요가가 과정 일 때 모든 옷을 씻는 것을 의미합니다 이런 종류의 처리를 Batch purposing이라고합니다 일부 데이터를 수집 한 다음 나중에 처리하는 곳 그래서 우리는 이것을 호출 할 것입니다 일괄 처리를 통해 이전 데이터를 볼 수 있습니다 당신이 일종의 처리를 할 때 이를 일괄 처리라고합니다

실시간 처리, 한 가지 예를 살펴 보겠습니다 신용 카드 결제를하고 있다고 가정 해 보겠습니다 그리고 대부분의 사람들이 신용 카드를 사용해야한다는 것을 확신합니다 또는 직불 카드를 온라인으로 할 수 있습니다 Edureka에게 지불하면 온라인으로 할 수 있습니다

확실히 모든 사람들이 자신의 카드를 사용해야합니다 지금 당신이 인도에 바로 앉아 있다면, 방갈로르시에 앉아서 신용 카드 거래, 즉시 10 분이 지나면 귀하의 부분도 미국에서 스 와이프됩니다 그것은 가능합니다, 틀림없이 당신은 생각합니다 은행이 일종의 다리 역할을한다는 것은 의미가 있습니다 여전히 발생하고 나중에 그들은 그것은 진정한 연결이거나 맞지 않습니다

확실히 그들은 다르게 기다리고 싶지 않다 외국 사람들이 일어난다면 그것은 그들의 손실 일 것입니다 실시간 이벤트가 발생하는 즉시 사람이 스 와이프하려고한다는 메시지를 받으면 외모가 보이지 않는 곳의 카드 진정한 연결, 그들은 둘 중 하나를 시작합니다 보내기 OTP를 사용하거나 연결을 차단합니다 그들은 즉시 당신에게 전화를 할 것이고, 그들은 당신에게 물을 것이다 이 연결을했는지 여부 이것은 우리에게 이상한 것처럼 보입니다

묻기 시작하고 일단 승인하면 그들은 그 거래가 일어나게 할 것이고, 과거 데이터에서 처리가 진행 중입니다 또는 현재 데이터, 현재 데이터 그럼, 우리가이 처리를하고 있다는 것을 의미합니다 실시간으로 데이터가 언제 어디서 오는지 나는 즉시 처리를해야한다 나는 카드와 리얼 타임을 스 와이프하고 내 시스템은 활성화되고 알고리즘을 시작하고 실행합니다

이 거래를 허용할지 여부를 확인합니다 이제이 두 번째 유형의 처리 실시간 처리 (Real Time Processing)라고합니다 그래서, 당신에게 차이점을 설명하기 위해 일괄 처리와 실시간 처리 사이 따라서 일괄 처리 또는 과거 데이터에 대한 책 동시에 두 번째 종류의 가공 작업 즉각적인 데이터가 그 차이점입니다 우리가 모든 것을 이야기하는 동안, 실시간 분석에 관해 이야기한다면 방금 이야기했습니다

신용 카드처럼 사용 사례가 거의 없습니다 은행 업무에서 정부 기관에 매우 중요합니다 너는 우리의 어둠의 예술을 원하고 있건 없건간에, 그래서 만약 당신이 인도에 있다면 당신은 그것을하고있을 것입니다 실시간 처리를 위해 하나 더 인스턴스를 줄 수 있습니까? 우리가 얘기하면 지금 Amina를 사용하기에 앞서있다 어떤 주식 시장 분석 권리, 주식 시장 분석

우리가 그것에 대해 이야기한다면, 바로 지금 무슨 일이 일어날 지, 많은 회사가 있습니다 당신은 관용 검색에 대해 들었습니다 Goldman Sachs 너는이 회사들에 대해 들었 니, 모건 스탠리, Goldman Sachs, 연구 이벤트, 당신이이 이름들에 대해 그들이 무엇을하는지 들어 본 적이 있습니까? 그들은 스마트 알고리즘을 개발했습니다 너는 네가 그들에게주는 돈을 신청하라 당신 주식에 대한 당신의 돈, 그들에게 무엇을 할 것인가? 그 알고리즘은 일종의 예측과 말을 할 것입니다

좋아이 주식 가격은 높을거야 이 주식 가격은 낮아질 것입니다 알고리즘을 공개하지 않기 때문에 그것들은 더 좋지만 상처는 상처를 새롭게해야한다 그들은 그것들이 그들의 손실이 될 것이지만 그들이하는 일은 그들에는 똑똑한 알고리즘과 그 알고리즘이 있습니다

실시간으로 어떤 일이 일어 났는지 의미합니다 시장에서 어떤 비정상적인 사건이 발생하면 Plexus top의 주식 위탁 회사 또는 아래로 내려갈 수 있습니다 무엇이 있어야 할 것인가, 그들은 즉시 자신을 보냄으로써 고객 그들이 어떤 사건을 발견하면 잃지 말라 주식이 이익을 낼 수있는 실시간 그들은 기본적으로 그 주식을 살 것이고, 그래서이 알고리즘 세트는 실행 중입니다 리얼 타임 스케일에서, 내가 무엇을 알고 있는지

그래서이 모든 회사들은 이 실시간 처리 부분 마찬가지로 여러 텔레콤 회사가있을 수 있습니다 건강 관리, 건강 관리는 매우 중요합니다 환자가 왔을 때, 지금 환자가 왔을 때 우리는 즉시 통찰력을 얻고 싶다 어떤 정보가 주어 지든 그것에 기초하여 일부 처리 수단은 환자 치료를 시작합니다

그래서 모든 것들은 실시간으로 일어나고 있습니다 왜 아파치 스파크를 사용해야할까요? Hadoop이 이미있을 때, 우리가 이야기하는 이유 이 일괄 처리 및 실시간 처리에 대해? 그 부분을 이해합시다 포인트 1 번은 매우 중요합니다 Hadoop에서는 일괄 처리 만 가능합니다 Hadoop이 실시간 처리를위한 것이 아님을 의미합니다

이제 데이터를 수집했다고 가정 해 봅시다 하루 둘째 날에, 당신 만이 당신을 처리 할 수 ​​있습니다 그런 종류의 무언가 나는 단지 말하는 것이 아닙니다 하루라도 데이터를 처리해야한다는 것입니다 역사적인 데이터 인 R 단어를 하나만 말하자

하지만 그 데이터에 즉시 액세스 할 수는 없습니다 이것이 Hadoop 시스템에서 수행되는 작업이지만 우리는 아파치 스파크에 대해 이야기했다 시간이 없다 당신이 여기에서 할 수있는 것은 언제 어디서나 데이터 너는 즉시 그것을 처리 할 수 ​​있고, 즉각적인 처리가 사건이나 현장에서 발생할 수 있습니다 이제 나에게 또 다른 질문을 할 수있다

스파크는 실제 시간 지정 데이터에만 사용됩니까? 아니요, 스파크를하고 역사적 데이터를 다루는 것은 배치 종류를 의미합니다 처리의뿐만 아니라 그것은 초당 실시간을 할 수 있습니다 그래서 두 가지 종류의 프로세싱을 모두 할 수 있습니다 아파치 스파크, 유일한 이점인가? 아니, 존경심으로 두 가지 더 이해하자 아파치 스파크에게

이제 우리가 하둡에 관해 이야기 할 때, 그냥 그렇게했습니다 Hadoop Spark처럼 일괄 처리가 발생합니다 이제 우리가 스파크에 왔을 때 그것은 존경심으로 일어납니다 귀하의 실시간 처리에 이제 너를 설명했던 것과 똑같은거야

그래서 내가하는 일은 데이터를 처리 할 수 ​​있습니다 여러 소스에서 데이터를 처리 할 수 ​​있습니다 실시간으로 매우 사용하기 쉽습니다 이제 MapReduce 프로그래밍을 작성한 사람이 있습니까? 아니, 만약 네가 그 일을 알았다면, MapReduce는 명시된, 사미르가 그렇게했던 것처럼 그렇게 쉽지는 않습니다 사미르, 쉽게 전달할 수있어

따라서 초보자가 필요로하는 것처럼 쉽지 않습니다 MapReduce를 배우는 것은 쉬운 일이 아니다 시간이 걸린다 그것은 프로그램을 작성하는 측면에서 복잡합니다 Spark를 사용하면 매우 쉽고 Spark도 가능합니다

장점이 하나 더 빠르며 처리 속도가 빠릅니다 이 스파크는 매우 빠른 속도로 처리 될 수 있습니다 하나 인 MapReduce 프로그램에 Apache Spark의 주요 장점 중 하나입니다 이제 자세히 살펴보고, 일단 내가 그 부분을 설명하면 모두 내 MapReduce를 더 천천히, 왜 아파치 스파크 더 빠르고, 왜 우리가이 모든 진술을하고 있는가? 아파치 스파크 (Apache Spark)가 무엇인지, 어떻게 동작하는지, 이 부분을 이해합시다 그래서 나는 지금 내 눈을 멀게 할거야 내 스크린 공유하게하면 알았어

단계별로 단계별로 설명해 보겠습니다 어떤 MapReduce 보스, 무슨 문제 였어? MapReduce를 사용하여 방금 내가 말한 것을 기억하십시오 MapReduce가 더 느린 이유는 무엇입니까? 그래서 나는 너를 조금씩 자세히 설명 할 것이다 그래서이 부분을 이해하자 몇 가지 예를 들어 보겠습니다

파일을 가지고있다, 그 파일은 그것이라고 말할 것이다 약간의 데이터가있다 사과, 바나나를 보자 그래서 나는 너희 모두가 이미 Hadoop 시스템에 대한 지식이있다 당신은 탈출 과정의 데이터에 대해 알고 있습니다

Hadoop 시스템에서 알려 주시면 알려 드릴 필요가 없습니다 우리가 128MB로 데이터를 분할하는 것처럼, 나는 추측하고있다 여러분 모두 이미이 주제를 알고 있습니다 이제 오렌지색으로 복사하겠습니다 내 데이터가 이런 종류라고 가정 해 봅시다

이것이 내 친구라고 가정 해 봅시다 지금 나는이 파일을 이미 말하게하고있다 거기에 무엇이 있는지, 256 MB라고하자 지금이 데이터를 기본 크기로 나누는 경우 얼마나 많은 블록을 만들지, 두 블록 따라서 128MB, 128MB가 될 것입니다

이제 이것은 두 개의 블록을 만들 것입니다 128MB 및 128MB 네 상사가 너에게 간다고하자 그리고 너에게 말했다 나는 이런 문제가 필요하다

그리고이 문제를 나에게 둘 필요가있어 내가 어떤 문제의 수를 말할 때, 이제이 파일에서 저는 세 가지 핵심 단어 만 가지고 있습니다 사과, 바나나, 오렌지 몇 번이나 사과 이 파일에서 여는 중 바나나 이 파일에서 여는 중입니다 몇 번이나 오렌지색입니까? 이 파일에서 여는 중입니까? 너 나왔고 이런 식으로 일하기 시작 했어 당신은 쉬운 문제라고 생각했는데 왜냐하면 내 파일을 두 부분으로 나눌 수 있는데, 128 MB 128 MB 각각 무엇을할까요? 나는 분산 된 패션으로 나갈 것이고, 나는 그것에 대해 연구 할 것이다

분산 된 방식으로 작업하려면 제가 할 일은 제가 말하려고합니다 이런 식으로이 문제를 풀어 라 나는 괜찮을거야, 너 한테 사과 두 개를, 오렌지가 4 개, 바나나가 B가되어서 만듭니다 조금 간단한, 지금 당신이 무엇을 할거야? 당신이 두 사과 먹고 싶다고 설정한다고 가정 해 봅시다 하나는 이것 앞에서, 두 번째는 바나나 칩, 이제 사과 앞에 사과가 필요해

왜냐하면 이것은 첫째로, 오렌지 케이크를 제안하고있다 너는 그들 앞에서 하나 추가하기 시작했다 그들이 다시 왔을 때, 당신은 그 사과를 보았습니다 이전에 이미 발생했으며 카운트가 하나였습니다 그래서 이번에는 글꼴을 하나씩 늘릴 것입니다 당신은 그것을 파견하게 만들었습니다

이제 다시이 알고리즘을 비슷한 방식으로 수행했습니다 바나나 때문에, 당신은 첫 번째 블록을 위해 이것을 계속했습니다 일할 수있는 코드의 두 번째 블록에 대한 작업 다른 기계에서, 당신은 정확히 자극을했습니다 당신은 정확히 비슷한 단계를했습니다 이제 다음 단계는 무엇입니까? 이 경우에 할거야? 이제 이것으로 다음 단계가 될 것입니다

무슨 일이 있어도 출력을 위해 결합해야합니다 먼저 사과를 결합하고자하는 모든 것을 말하자 몇 번이나 제안했는지, 여기에서 말하자 너 사과하러 가자 20 수업에서 두 ​​번째 블록에서부터 a의 출력, 질량에서 34, 유사하게 바나나 때문에, 당신은 그렇게했습니다, 바나나 때문에, 56 개를 구입했다고 가정 해 봅시다

두 번째 바나나,이 오렌지와 오렌지, 결국 당신은 이것을 결합하고 출력을 줄 것입니다 그래서 당신은이 종류의 무언가를 다음에 할 것입니다 a, 20, 34 그리고 여기 또한 바나나를 위해 할 것입니다 당신은 오렌지를 위해 할 것이고 결국에는 당신이 할 것입니다 알았어, 1 해결책 가져와

네 상사 한테 내가이 문제를 해결한다고 말해라 네 사장님이 너와 행복하지 않을거야, 왜? 텔넷에 문제가 없습니다 이 접근법을 사용하면 올바른 접근 방식이 아닙니다 아무도 여기서 성능 병목 현상이 어디 있는지 말해 줄 수 있습니까? 성능 병목 현상은 어디에 있습니까? 왜 이것이 올바른 접근 방식이 아니라는 것을 말하고 있는가? 아무도이 양식 진술서를 볼 수 있습니까? 문제가 어디에 있습니까? 그래서, 집계 부분을 말할 필요가 있습니다 이 집계 부분은 아폴로입니다

다른 사람이 거기서 말한 것은 어떨까요? 다른 문제에 대해서는 문제가 없다고 가정 해 봅시다 그것이 매우 빠르다고 말하자 다른 사람을 기다려야한다 아니, 그건 맞는 해결책이 아니야, 실제로 문제가되지 않으므로 이것이 일종의 연결된 것이라면 다른 사람들을 기다릴 수없는 방법으로 다른 솔루션은 무엇입니까? 여기에 무슨 문제가 있습니까? 그런 다음 해결책이 무엇인지, 알 수 있습니까? 여기의 문제, 이 128 MB 파일, 당신 생각하십니까? 텍스트 데이터 만있는 경우 작습니다 너는 작아 질 것이라고 생각하니, 아냐

이제이 단계를 수행 할 때, 당신이 당신의 성적을 떨어 뜨리고 있다고 생각하지 않습니까? 요소가 올 때마다 당신은 가고 있는지 여부를 다시 확인하고 있습니다 그 요소는 이전에 또는하지 않았고 둘째로, 그러면이 숫자를 더합니다 이것이 우리 병목 현상이라고 생각하지 않습니까? 나는 이것을하기를 원하지 않는다 왜냐하면 매번 우리가 돌아갈 필요가있을 때마다 새로운 입장이 올거야 해당 요소가 이전에 발생했는지 여부를 확인하십시오

이것이 알고리즘의 주요 병목입니다 MapReduce가 어떻게 이것을 해결했는지, MapReduce가 이 문제를 해결하는 올바른 솔루션 프로세스는 무엇입니까? 그럼 어떻게 해결할 수 있는지 보도록하겠습니다 그래서 병목 현상이있는 곳에서 나는 진짜 흥분하지 않았습니다 우리가 돌아보고 있었기 때문에 그 병목 현상을 제거하면 보자 여기에서 지금이 솔루션을 제거하겠습니다

우리가 할 일은 더 나은 해결책을 내 보자 그래서 우리가하려고하는 것, 그래서 나는 가고 있다고 말한다 이번에는 사과 하나 만들어, 바나나를 만들거야, 하나 나는 오렌지색으로 만들거야 이번에 다시 실제가 왔을 때 나는 가서 돌아 보지 않을거야 이제 다시 여기에도 쉼표 하나만 넣을 것입니다

이것 앞에 열쇠가 무엇이든간에 나는 이것 앞에서 하나 덧붙이고있다 비슷하게, 나는 두 번째 드롭도했다 그래서 두 번째 블록에 대해서도 정확하게 했어요 내가 기다리지 않는 것과 똑같은 것들, 나는 아니다 가서 이전에 증가했는지 확인하십시오

이제 다음 단계에서 내가 할 일 사과가 나온 곳마다 나는 그들을 모으고 싶다 그래서 나는이 엔트리들을 결합 할 것입니다 이 두 기계 모두에서 나는 결합하려고합니다 이 관심과 내가 어디에서 할 것인지 나는 사과 또는 크림을 느낀다 함께 데려 가자

사과 쉼표 하나, 사과 쉼표 하나, 사과 쉼표 하나, 어디에 있든간에 두 기계 모두에서 우리가 어떻게 할 수 있을까요? 정렬을하면됩니다 모든 것을 하나의 기계로 통합 그런 다음 정렬 단계를 수행합니다 비슷하게 바나나를 위해 할 일 그래서 바나나 쉼표 하나, 바나나 쉼표 하나, 계속 해보자 지금은 비슷하다 내가 오렌지를 위해서 할 수있는 일

그래서 나는 계속 그렇게 할 수 있습니다 다음 단계에서 다음 단계는 무엇입니까? 이 모든 것을 하나로 결합 할 것입니다 사장이 올 때마다 나는 그냥 데리고 왔어 바나나와 비슷하게 나도 그렇게 할거야 이제 모든 사람들이 솔루션의 냄새를 맡을 수 있습니다

우리는 해결책을 냄새 맡을 수 있습니다 다음 것은 무엇입니까? 나는해야한다 나는 모든 것을 결합해야한다 모든 것을 집계하십시오 출력을 줄 것 인 3 번을 제공하고있다

쉼표 3 개, 쉼표 3 개, 숫자 3 개 하나의 거기에있을 것입니다 내가 그 출력을 결합하는 것입니다 그래서 쉼표 3, b 쉼표 3 우리가하는 일이 무엇이든, 나는 여기서 예를 든다 이제 MapReduce가 문제를 해결하는 방법입니다 그래서 우리가 한 조치가 무엇인지 알면 우리가 한 첫 번째 단계는 Mapper Phase로 불립니다 두 번째 단계는이 두 단계를 수행 한 것입니다 정렬 및 셔플 피치 및 제 3 단계 여기서하고있는 것을 감속기라고합니다

그래서 이것들은 관련된 세 단계입니다 MapReduce 프로그래밍에서 이제 이것이 어떻게 당신이 당신의 문제를 해결할 것인가입니다 이제는 알았습니다 왜 MapReduce가 더 낮았는지, 아직도 수수께끼가있다

우리는 분명히 이해하기를 원하기 때문에 우리가 왜 MapReduce에 대해 이야기했는지 이 문제를 해결하기 위해 더 낮습니다 우리는 복제를 다시 시작하는 중입니다 이걸로 나는 네가 모든 것을 알고 있다고 가정하지 않았다 Hadoop 시스템의 이러한 사실은 모르는 경우 나 한테 물어 봐야 해, 알았어 그래서 나는 당신에게 적절한 예를 줄 수 있습니다

그래서 나는 지금 당신이 복제를 알고 있다고 가정하고 있습니다 그래서 나는 복제 인자가 하나라고 가정하고 있습니다 이것은 지금 일어날 일입니다 지금 내가 이것을 실제로 본다면 나는 이것을하고있다 그래서 나는이 두 기계를 가지고이 두 기계를 추가한다

이 두 기계는 지금 ​​당장 내 모든 작업이 일어나고있다 그래서 이것은, 디노에 대해 다시 한번 말하지만, 나는 이것을 알고 있다고 가정하고 있습니다 네가 날 막지 않으면이 두 사람이야 너의 데이터 노드 야, 알았어 이 두 가지는 데이터 노드이므로 어디에서 데이터는 요인 데이터 노드에 상주하므로 어떤 것이 될 것인가? 이게 너의 블록 b라고 말하자

그리고 이것이 당신의 블록 b 2라고 말하자 그래서 무슨 일이 일어나면, 이것은 하나의 블록이 될 것입니다 내 복제 요소가 하나라고 생각한다면 이 한 블록은 다음에 가장 어려운 곳에 거주하는 것입니다 데이터 노드 1과이 블록 2 블록이 존재 함 데이터 노드 2의 하드 디스크에 저장됩니다 이것은 우리가 데이터 노드 2, 이것이 데이터 노드 하나라고 말할 수 있습니다

이제 무슨 일이 일어날 지 알면 처리를 수행하는 곳 디스크 레벨에서 처리를 수행합니까? 또는 메모리 수준에서 처리를 수행합니까? 처리가 이루어지는 곳에서 대답을 얻을 수 있습니까? 기억, 항상 그 기억 어디 처리가 발생합니다 이제 우리가해야 할 일은, 이제 매퍼 코드는 첫 번째 코드 실행될 코드는 매퍼 코드가됩니다 매퍼 코드가이 컴퓨터에 올 때 이 블록은 하나, 밖으로 이동됩니다 디스크 란 책상에서 메모리로 복사하는 것을 의미합니다 이 기계의 한 블록은 메모리에 올 것이다 이 머신의 mapper 코드가 실행됩니다

마찬가지로,이 기계의 블록에 b 이 기계의 기억을 향해 나아 간다 그리고 그것은 처형 당할 것입니다 자, 당신이 컴퓨터 과학 프로그램의 품질이라면 또는 당신이 아니라고해도, 당신은 생각했을 것입니다 입출력 연산이 일어날 때마다 내가 입 / 출력 작동을 말하면 나는 의미한다 귀하가 귀하의 데이터를 디스크에 저장하거나 데이터를 디스크에 씁니다

그래서 이것을 입출력 작업이라고합니다 그래서 내가 말하는 것은 당신이 이것을 들었을 것입니다 입 / 출력 작업이 발생할 때마다 당신이 가지고 있기 때문에 그것은 성능을 저하시킵니다 디스크 찾기와 모든 것들을 할 수 있습니다 그래서 그것이 그들의 연기를 느리게하는 이유

지금이 예제에서 나는 입출력 작업을하고있다 이제 이것은 내 메모리에 데이터를 복사하는 입력 경로입니다 이제 출력을위한 맵은 하나의 Mapper 출력입니다 이것은 매퍼 출력이며, 매퍼 출력은 이제 전화를 겁니다 이 말을하자

하나,이 출력이라고 부르 자 O 2로, 지금 무슨 일이 일어날 것인가? 이 모든 출력은 디스크에 다시 제공됩니다 이제이 오 하나가 여기에 다시 저장 될 것입니다 두 명이 여기에 다시 저장 될 것입니다 무슨 일이 일어 났습니까? 매퍼 출력 2 개를 여기에 저장했습니다

이제 이것이 다시 입출력 작업이라는 것을 알게되면 지금 나는 책상으로 출력 작업을하고있다 질문 컨트롤러, 무슨 일이 일어날 것인가? 블록 크기가 크면 효율적일까요? 메모리를 사용하려면 지금 당장 이 기억은 적어도 유지하기에 충분하다 128 MB의 데이터를 올리십시오 그렇지 않으면 오류가 발생합니다

MapReduce 프로그래밍에서, 당신은 단순히 다른 당신이 128MB의 데이터를 말하게한다면 128MB 미만의 메모리가있는 경우 너는 다른 최대 팩을 가질 것이다 이 문제를 해결하는 매우 현명한 방법입니다 스파크는 아무런 문제가 없으므로 기억을 덜 할 수 있습니다 그것은 여전히 ​​그것을 돌보아야합니다 스파크에 관한 아주 흥미로운 이야기 MapReduce에 관해서는 오류가 없다고 말합니다

사라, 그게 우리가 실제로 나눌 이유 야 우리의 데이터는 128MB로, 적어도 우리의 기억 그것을 처리하기에 충분해야합니다 자, 어떻게 될까요? 그래서 나는 첫 번째 O를 가지고 있고 나는 이미 관찰했다 내 입력 출력 작업이 시작됩니다 셔플을 정렬하면 셔플이 일어납니다

하나의 기계에서 일어날 것입니다 이 단계가 하나의 시스템에서 일어나고 있다고 가정 해 봅시다 그래서 만약 당신이 데이터가이 기계 전체에서 나왔다면 하나의 기계에, 그래서 그들이 결정한다고 말하자 정렬 및 셔플을 할 때 데이터 노드 하나, 이 자동 기계는 네트워크 전송을 할 것입니다 데이터의,이 O 2는 여기에 올 것이다

그 후이 종류와 셔플 단계가 일어날 것입니다 이 출력에서 ​​나오는 결과를 보겠습니다 오, 셋입니다 오, 셋입니다 이제 다시이 두 사람이 기억에 보내질 것이며, O 2는 메모리와 O 3에 전송됩니다

그 후에 다시 디스크에 저장됩니다 당신은 감속기에서 감속을 보낼 것입니다 O 3을 기억으로 가져 오는 것은 무엇입니까? 나는 최종 출력물을 디스크에 밀어 넣었다 그리고 이것은 많은 입출력 작업이 일어나고 있습니다 하나의 프로그램에서, 입력 – 출력 정렬 일본에서 네트워크 이전 완료 그리고 적은 입출력

3 단계 감속기가 입출력 작업을 완료했습니다 다시 한번 많은 입출력 작업을 볼 수 있습니까? 한 프로그램에서 전술적 인 최근 수학 학습 프로그램 자연 속에서는 속도가 느려서 모든 사람들이들을 수있다 MapReduce 프로그램이 본질적으로 느린 이유는 무엇입니까? 이미 로봇을 실행했다면 어떻게 될까요? O'Neil MapReduce에서 당신은 실행합니다 즉각적인 결과를 내지는 않습니다 이상을 실행하는 데는 좋은 시간이 필요합니다

왜 이런 일이 일어 났는가? 너무 많은 입출력 작업, 감사합니다 Ratish 계속 나아가 자 이것이 문제 다 MapReduce를 사용하여 어떻게 아파치 불꽃이 문제를 해결하고있다 어떻게 아파치가 문제를 일으키고 왜 해결할 수 있을까? 그것은 더 빠릅니다 왜 우리는 저의 저것이 빠른 시간 내에 출력물을 줄 수 있습니까? 그래서 그것을 이해합시다 이제 이것을 설명하기 위해, 무엇보다 먼저 나를 보자

여기에 다시 파일이 있다고 가정 해 봅시다 내 데이터가 이와 같다고 가정 해 보겠습니다 3, 5, 6, 7, 8 더 많은 데이터 더 많은 데이터가 있으므로이 데이터를 가져와 봅시다 유사하게 더 많은 데이터 34, 78, 3, 6이 있습니다

이제 이것이 하나 더 많은 데이터라고 가정 해 봅시다 마찬가지로 여기에 더 많은 데이터가 있다고 가정 해 봅시다 23, 67, 1, 9가 승진했다고합시다 이제 파일 크기가 34MB임을 알려 드리겠습니다 384MB, 죄송합니다

이 파일은 384 MB이고 두 번째 것은 Ftxt 파일의 이름을 말하자 이 파일의 이름입니다 이제 나는 너에게 외계인의 말을 쓰고있다 내가 설명 할 것이기 때문에 걱정하지 마라

이 부분, 내가 가진다면, 이게 뭔지 걱정하지 마세요 전 그냥 문자 메시지 일 뿐이에요 우리가 정확히 무엇을하는지 이해합시다 이제이 예에서도 내가 만든 것을 가정 해 봅시다 이 클러스터는 내 이름이 아닙니다

데이터 노드는 아닙니다 지금 여기서 일어나는 일이 당신에게하고 있습니다 이 파일의 Ftxt는 384MB이고, 그래서 내 파일이 나뉘어져 있다는 것이 명백합니다 세 부분으로 b 1, b 2, b 3 블록

이제 다시 여기서 가정합니다 나는 이것을 b 블록이라고 부르고 있는데, 이것을 B 블록이라고 부르면됩니다 이것을 b 블록 3 블록이라고 부르면됩니다 각각 128MB 이제 내 다음 단계는 무엇입니까? 그래서 저는 우리가이 블록들을 가지고 있다는 것을 이해했습니다

이제이 파일이 내 HDFS에 있다고 가정 해 봅시다 따라서 디스크에있는 곳에서 보관하십시오 디스크에서 b 블록 하나, b 여기 두 블록, b 세 블록 이제 데이터 노드에 상주 할 곳 디스크에서, 당신은 이것이 우리의 NTFS 데이터베이스라고 생각합니다 이제 첫 번째 매핑을 시작하자 마자 무엇보다도이 부분을 이해하기 전에 내가 너에게 한 가지 더 설명해 줄께

Java의 주요 진입 점은 무엇입니까? 당신이 어떤 프로그램도 쓸 수 없다면, 아무도, 주요 기능을 알아 주요 기능이 없으면 아무 것도 할 수 없습니다 이제 아파치 스파크에서도 거기에 하나의 주 진입 점이없는 경우, 어떤 응용 프로그램도 작동하지 않습니다 그 엔트리 포인트는 Spark Context라고 불린다 또한 Spark Context를 SC로 나타냅니다

이제 이것이 주요 진입 점이며 이것이 마스터 머신에서의 사이드들, 그래서 우리는 계속 지킬 것입니다 당신이 알고있는이 SC Java 프로그램, 하나의 프로젝트를 작성했다고 가정 해 봅시다 한 프로젝트의 경우 별도의 주 기능이 있습니다 다른 프로젝트에서는 별도의 주 기능이됩니다 유사하게,이 SC는 분리 될 것이다 개별 응용 프로그램마다

이제 첫 번째 코드 줄을 이해해 봅시다 그들이하는 일을 이렇게 무시해 버려 이 기이함은 그 부분을 무시하는 것입니다 당신은이 기이함을 어떤 데이터 유형과 관련 지을 수 없습니다 예를 들어 Java에서 우리는 문자열 데이터를 가지고 있습니다

그래서이 이상한 것을 대체 할 수 있습니다 이 RDD를 문자열로 바꾸지 않아도됩니다 그것은 숫자가 참을 수 없다는 것을 의미하므로, 그 번호는 얼마 동안 들리지 않는다 우리는 SC가 Spark Context를 의미한다는 것을 보았습니다 Spark 응용 프로그램을 사용하지 않으면 실행되었습니다

이제이 텍스트 파일 이것은 아파치 스파크의 API입니다 이 세부 사항에서는 다른 스탭 세션을 읽었습니다 그러나 나는 당신에게 무엇에 관한 아이디어를 줄 것입니다 이 텍스트 파일은이 텍스트 파일 API가 할 일, 아파치 스파크에서 어떤 파일이든간에 당신은 그 Ftxt 안에 기록했습니다

해당 파일을 검색하여 메모리에로드합니다 당신 기계의 어떤 의미일까요? 이제이 경우 Ftxt 예 세 대의 기계에서 예 F

txt는 b 블록 하나, b 블록 두 블록, b 블록 세 블록입니다 그래서 일어날 일은 당신의 b 블록 일 것입니다, 내가 이것을 만들자 이것이 내 RAM이라고 가정 해 보자 이것이 내 RAM이라고 가정 해 봅시다 이 경우 일어날 일은 그냥 한 블록 복사됩니다 나는 움직이지 않는다고 말하고있는 중이다

이 기계의 본문에 복사됩니다 b 두 블록이 메모리에 복사됩니다 이 기계의 3 블록이 복사됩니다 이 기계의 기억 장치에 그러면 블록이 전송되는 방식입니다 이 머신 메모리에, 지금 무슨 일이 생길까요? 그래서 우리는 단지 그 중 하나를 이해했습니다

b 2, b 3 블록 여기, 나는 그것을 추측하고있다 내 기억은이 모든 자료를 저장할 정도로 크다 이제 우리가 모든 블록을 다룰 경우 어떻게 될까요? 의무적 인 것은 아니지만, 모든 블록 크기가 동일해야하는 것은 아닙니다 그것은 다른 것도 줄 수 있습니다 그것은 중요하지 않습니다

각각의 블록 크기가 어떻든간에 블록을 메모리쪽으로 복사하려고합니다 그 첫 번째 코드 줄에서 일어난 일입니다 자,이 세 파일은 적어도 메모리에 앉아서 결합되어 있다고합니다 RDD로, 그래서이 세 파일은 우리의 RDD라고 불리는 메모리에 결합하여 말하고 있습니다 RDD의 이름은 무엇이며, 우리는 번호 RDD를 부여했습니다

그래서 우리는이 RDD에 RDD라는 이름을 붙였습니다 RDD 란 무엇인가, RDD는 분산 데이터, 기억에 앉아 RDD의 완전한 형태는 무엇입니까? RDD 예, 탄력적 인 분산 데이터의 완벽한 형태 이제 한 가지 질문을 드리겠습니다 분산 된 데이터인가요? 분산 된 데이터 이건 아니건간에 그렇습니다

분산 데이터입니다 무엇을 이해합니까? 탄력있는 대답을 얻을 수 있습니까? 너는 뭘로 이해하는지, 뭘 읽는지 보렴 비록 청취자는 아니지만 그래도 나는 단지 원한다 당신이 무엇을 이해하는지 이해하기 이 핵심 단어, 탄력? 탄력성이란 실생활을 의미합니다 그것은 신뢰할 수있는 영어 의미입니다

이제 네가 그런 식으로 부를 수있다 지금 내가 신뢰할 수있는 말을 할 때 이제는 언제든지 질문에 이르게됩니다 나는 무엇보다도 RAM에 대해 이야기하고있다 RAM에 데이터를 유지한다면 이것은 내 전체 시스템에서 가장 휘발성이있는 것 네가 뭔가를 가질 때마다 랩톱을 다시 시작하면 모든 항목이 지워집니다

당신의 RAM에서 나는 가장 휘발성이있는 것을 얻는다 지금은 여전히 ​​RDD가 탄력성이 있다고 말합니다 나는 데이터를 잃어 버릴거야 즉시되지 않았습니다 방금 노트북이나 다른 것을 다시 시작합니다 내 데이터를 잃을거야 이제 어떻게 이것이 인도 될 것입니까? 적용 요소, 복제 인자를 기억합니까? 복제 인자가 2라고하자

복제 계수가 2라고 가정 해 봅시다 이제는이 경우에 더 적은 장비가 있다면, 그래서 하나의 바위가 여기 앉아 있다고 해봅시다 B 블록이 여기에 복사된다고합시다 B 블록이 여기에 복사한다고 가정 해 봅시다 어떤 기계라도 그런 사이딩을하고 있다고 가정 해 봅시다

이제 어떻게 될 것입니까? 이 조건에서 말하자 그냥 차단하고 차단할 수 있습니다 그래서 우리는 잃어버린 것, 잃어버린 것, 그렇습니다 그 단계에 아직 도달하지는 않았지만 나는 말할 것입니다 이것에 관해서는, 아래는 잃어버린 B, 잃어버린 B는 3 점입니다

지금은 세 곳 중 하나입니다 예, 그렇습니다 무슨 일이 일어날 것입니까? 이 머신에는 즉시 세 개가로드됩니다 이 머신간에 즉시 로딩됩니다 이제 b 하나와 b 세 둘 다 낭독을 시작할 것입니다

이 기계에서 함께하면 무슨 일이 일어날까요? 이 세 가지는 에너지로 구성됩니다 그래서 다시 세 명은 기억으로 옮겨 질 것입니다 즉시 RDD가 생성됩니다 그래서 그것은이 RDD에서 큰 의미입니다 네가 잃는다고해도 거기에 눌려있다

데이터 또는 기계를 잃어버린 경우 그건 상관 없어요 그래서 이것을 탄력적 인 부분이라고합니다 이제 더 멀리 움직여야합니다 그래서 우리는 단지 이해했습니다 RDD 란 무엇이며 두 번째로 탄력적입니다

한 걸음 더 나아가 자 그래서 우리는 숫자 RDD를 만들었습니다 지금 나는 또한 RDD 필터를 만들고있다 하지만 지금 내가 할 일은 내가 갈거야 내 번호 RDD에 그것을 만들려면, 단지 번호 RDD

map, 다시이지도가 API이며,이 API는 무엇입니까? 나는 보통 우리 세션에서이 부분을 이해할 것이다 당일에는이 부분을 알려 드리겠습니다 당신의 소개를 위해 그것 위에 간단한 것 이지도 API 내부에 작성할 코드는 무엇이든 실행될 코드가 무엇이든지간에 이 줄 안쪽에 쓰는 것이 실행됩니다 그래서 지금 막 영어 키워드 몇 개를 썼습니다

이 장소에서이 영어 키워드 논리를 대체해야합니다 10 개 미만의 값을 찾으려면 프로그래밍 논리를 얻고, 어쩌면 파이썬 프로그램 일 수도 있고, 스칼라 프로그램 일 수도 있습니다 원하는 프로그램이 무엇이든지간에 그것은 무엇이든 될 수 있습니다 글을 쓸 수는있어 네

따라서 어떤 코드를 작성 하든지간에 지도 기능이 책임을집니다 또는지도 API가 실행해야합니다 이제 우리가 여기서하고있는 일, 한 가지 더 요점은, RDD는 언제나 불변입니다 나는 그것이 불변으로 전달된다는 것을 의미한다 이미 블록 b를 메모리에 넣은 경우 너는 어떤 변화도 할 수 없을거야

너의 블록 하나에, 너는 할 수 없을거야 당신의 블록에서 어떤 변화도 일으킬 수 있습니다 이제 어떻게 될 것입니까? 우리가 일하기 전에 먼저 여기에 오도록합시다 이 부분에서는이 부분을 보도록하겠습니다 그래서 여러분이 스칼라 함수를 작성했다고합시다

또는 어떤 함수 인 파이썬 함수 모든 값을 알아내는 것입니다 10보다 작기 때문에 가정 해 봅시다 이 b 한 블록,이 b 한 블록, 당신은이 4 개의 말을 모든 banch를 묶어 보자 그래서 그 경우 출력은 무엇입니까? 무엇이 출력 될 것인가,이 블록은 쉼표 3 개 이 두 값은 10보다 작기 때문에, 하나의 쉼표 3, 그래서 내가이 블록 SB 블록을 호출 할 수 있습니다, B 4라고 부르 자 여기에서 나오는 출력은 3 개의 쉼표 6입니다

이것을 B 블록 5라고 부르 자 마찬가지로, 당신이 이것을 알게되면 나는 말하지만, 한 쉼표는 9 자이고 이것을 아마 6 블록이라고 부르 자 이 블록을 네 블록이라고합시다이 블록은 다섯 블록입니다 이것은 6 블록입니다

이제 여기서 무슨 일이 일어나고있는거야? 이 B가 기억 속에 앉아있는 한 블록 나는이 코드가 실행될 때 이것을 할 것이다 그 실행은이 B 블록에서 일어날 것입니다 전에 새로운 블록이 생성됩니다 나는 한 블록 B에서 어떤 변화도하지 않을 것이다 이 B 블록에서 십자가를하고 있습니다

그리고 내가 부르는 새로운 블록을 만든다 a B 4 블록 유사하게,이 B 블럭으로부터, 이 B 블록을 5 블록 생성합니다 다시 아침에 앉아있을 것입니다 유사하게, 여기에서는 B 블록이 생성 될 것이다

이제이 경우 귀하의 B 한 블록과 B 네 블록 둘 다 함께 메모리에서 낭독을 시작합니다 마찬가지로 B 2와 B 5가 함께 거주 할 것입니다 B 3과 B 6은 함께 낭독하게됩니다 집합 적으로이 세 가지 모두, B 4, B 5, B 6 RDD라고 불리는 얻을 것이다 그 RDD의 이름은 하나의 RDD를 걸러 낼 수 있습니다 모두 지우시겠습니까? RDD 란 무엇인가, RDD는 어떻게 작동합니까? 이 개념은 모든 사람에게 분명합니다

이것이 스파크가 작동하는 방식입니다 이제 나 한테 물어 보자 이것이 더 빠를 것이라고 생각하지 않습니까? 돈 입출력 운영을하고 있습니까? Map Reduce를 가져 오는 것과 마찬가지입니다 입출력 동작 만 발생합니다 첫 번째 페이지에서 F

txt 파일을 사용할 때 그 후 내 데이터는 항상 메모리를 사용하고있었습니다 그게 내가 어떤 일도하지 않는 이유 야 그 이후의 입출력이 그 이유 다 그것은 당신에게 더 빠른 출력을 줄 것입니다

그래서 스파크가 더 빠릅니다 MapReduce와 비교하면 좋을 것 같아 RAM이 맞아, 분명히 거기에있다 하지만 여전히 스파크가 큰 경우 RAM 또한 그것을 처리 할 수 ​​있다는 것을 알고 있습니다 파이프 라이닝 개념이라고합니다

나는이 세션에서 그것을 다루지 않을 것이다 하지만 네, 커다란 사건이 있습니다 네 기억력이 적 으면 스파크가 가져 간다 사실은 매우 흥미로운 개념, 그래 다시 그것은 매우 흥미로운 개념입니다

스파크가 여전히 처리 할 수있는 너는 조금 더 적은 기억이 있으면 그래서 공원은 매우 스마트 한 프레임 워크가됩니다 사람들이이 논문을 읽는 이유입니다 자, 이제 네가 배웠어 내가 회상 세션을하는거야

우리는이 모든 주제들을 세부적으로 다룰 것입니다 이 상황이 발생하면 어떻게 될까요? 그러면 우리가 계속하는 모든 일들은 어떻게 될 것인가? 내 책상에 여분의 위험이 쏟아 질 것입니다 책상에 데이터를로드하지 않지만 여전히 그것을 처리 할 수있을 것입니다, 그것은 나쁜 일 이었습니까? 당신은 궁금해 할 것입니다 하지만 그것은 단지 파이프 라인에 관한 것일 수 있습니다 번호에 제한이 있습니까? 동시 클라이언트 요청 수, 아니요

원하는만큼 여러 번 읽을 수 있습니다 옳은 일을하고 싶다면 문제가있는 것입니다 거기에 아무런 제한이 없습니다 이제 한 단계 더 나아가 야합니다 그래서 우리는 방금 읽었습니다

이 부분, 지금 당신이 무엇을 알아 차리면 여기에서 일어나는 일이기 때문에, 처음에는 그래서 지금 나는 이미 필터 하나를 가지고있다, 그래서 내가 내 필터 하나, 이건 내 필터 예고 코드를 보자 RDD에 의해이 필터 하나의 RDD는 무언가에 의존하며, 예, 그것은 의존하거나 내 번호 RDD, 내 번호 RDD에, 내 번호가 의존하고있다 또는 뭔가 예, 그렇습니다 Ftxt, 그래서이 파일은 자고 있습니까? 아니요, 이것이 제가 여기서 삭제 한 그래프입니다 이 그래프는 즉시 문맥 정지에 의해 유지됩니다

이 모든 문장과이 태그를 실행합니다 이것은 dat, directed acyclic graph 계보로도 불린다 그래서 계통에서 일어난 일은 모든 데이터를 유지합니다 모든 정보를 유지 관리하는 f와 같은 의존성은 의존성을 가지고있다 당신의 번호, 번호는 의존성이 있습니다

Ftxt에서이 의존성 그래프가 무엇인지 계보는 혈통이라고합니다 그래서, 이것은 전체의 매우 중요한 부분입니다 이제 무슨 일이 일어나고 있는지 알게되면 B 블록 네 B 한 블록으로 인해 생성 된이 B 블록 5 개 B 2 블록 및 B 6 블록으로 인해 생성되었습니다 B 블록으로 생성됩니다

또 다른 용어는, 나는이 F 필터 RDD가 생성되었다고 말할 수 있습니다 숫자 RDD 덕택에 번호는 또한 RDD가 아니라 그 번호에서 RDD 나는 새로운 엔티티를 만들 것이다 하나의 RDD 필터로서,이 F는 변환 단계 그러나이 단계를 변형 단계라고 부릅니다 이제 출력물을 출력하고 있습니다 우리는 메모리에 데이터 만 보관하고 있습니다

Java에서는이 print 문을 사용했습니다 Spark에서는 print 서술문이 없지만 대신 우리가 수집 진술서를 가지고 있다는 것, B 4, B 5, B 6을 인쇄하려면 즉, 필터 하나의 RDD를 인쇄하고 싶습니다 내가 filter1collect 쓸 수 있습니다, 그러면 SC에 B 4, B 5, B 6이 인쇄됩니다 지금 당신이 여기서하고있는이 일은 이것은 당신이 무엇을하고 있는지를 언제나 고민하고 있습니다

출력 B를 Word 작업으로 인쇄합니다 따라서 현장 컨텍스트에서이 단계를 S 동작이라고합니다 그래서 이것이 당신이 그 일을하는 방법입니다 주요 단계 1은 변형이다 한 형식의 RDD를 다른 형식으로 변환 할 수있는 곳 RDD의 두 번째 작업을 Action이라고합니다

여기서 출력물을 인쇄 할 수 있습니다 그래서 이것들은 명심해야 할 중요한 포인트입니다 아파치 스파크에서 일하면서 저희 사이트로 돌아가서 이것에 대한 질문을 드리겠습니다 내가 다시 돌아 오기 전에 나는 다시 그걸로 돌아올 수있다

모두가이 단계에 대해 명확하게 설명합니다 돌아 가자 여기서 알아 차리면 우리가 배치 (batch)와 같은 것을 논의 할 것이다 실시간 처리에서 더 나아가, 이것이 어떻게 이루어 졌는지, 그래서 지금 막 토론했다

스파크에 대해, 스파크가 실시간 처리를 제공하고, 그래서 기본적으로 합의 된 창조는 변형과 함께 시작됩니다 네, 그렇습니다 우리가 방금 토론 한 부분이다 또한 사용하기가 매우 쉽다는 것을 알 수 있습니까? 내 MapReduce와 비교하여 사용하기가 매우 쉽습니다 MapReduce 프로그래밍을 이미 완료했다면 또는 사과, 오렌지, 바나나 예를 기억한다면, 확실히 나의 고뇌 방법은 비교에서 훨씬 간단하다

MapReduce 코드가 표시되면 MapReduce 프로그램에 본질적으로 복잡하지만 스파크 프로그램 매우 간단하게 보입니다 Spark 프로그램이 수행하는 이유 아주 단순한 자연 이제 더 나아가 스파크 성공 사례를 이해하고, 우리가 가진 것들은 무엇입니까? 요즘 그것을 사용하는 사람들이 많이 있습니다 우리가 주식 시장에 대해 이야기하는 것처럼, 주식 시장은 아파치 스파크를 많이 사용하기 때문에 더 빠른 처리 능력, 더 쉬운 특성 플러스 가능한 많은 것들 (말도 안되는 소리) Twitter 감정 분석이 인기 급상승일지도 모릅니다 그 회사에 따라 일어난 일입니다

어쩌면 시작 할지도 모르겠다 그걸 기반으로 일부 캠페인을하고, 은행 신용 카드 사기 공제 이미 신용 카드 예를 보여주었습니다 어떤 사기가 감지되고 있다고 가정합시다 어쩌면 그들은 이것이 소리가 나지 않을 것으로 예상하고있을 것입니다 진정한 관계처럼 우리는 패키지와 함께 배울 수 있습니다

하지만 MapReduce는 불가능합니다 실시간 처리를 수행 할 수도 없습니다 둘째, 과거 데이터에 적용하려고해도 그것은 그곳에서 도전이 느려질 것입니다 의료 영역에서도 우리는 아파치를 적용합니다 그래서 이들은 Apache Spark가 사용되는 영역입니다

Spark에 대해 이미 말하면서, 우리는 이미 논의했습니다 재미있는게 뭐니? 지금 스파크에서 오직 실시간 처리와 모든 것을 보았고, 지금은 아파치 스파크는 사용할 수있는 오픈 소스 클러스터입니다 물론 당신은 지불하지 않을 수도 있습니다 그 일을하기 위해서, 그것은 또한 아파치 스파크가 유명한 이유 실시간 처리 배치를 수행 할 수 있으며, 처리의 모든 종류의 처리 종류, 당신은 그것에 수행 할 수 있습니다 프로그래밍 팩을 수행 할 수 있습니다 또는 데이터 패럴 림이 있으면 내결함성도 처리 할 수 ​​있습니다 우리는 이미 탄력적 인 부분의 결과를 보았습니다

해양은 내결함성이 있다고 믿을만합니다 그래, 이제는 여러 번 MapReduce 위에 출력으로 얻을 수있는 것 생성 직후 연결 기능을 사용하면 과거는 이미 인쇄 될 것입니다 원래 일종의, 사실 내가 할 것입니다 실제적인 실행과 보여주기 그 후 한 가지 예를 들자 여기 남아서 정확히 무엇을 할 수 있는지 어떻게 완료 될지, 어떻게 데이터를로드 할 수 있는지 그리고 데이터를 내부에서 볼 수있는 방법

몇 분 안에 실용적인 것을 보여 드리겠습니다 좋아, 이제 더 멀리 나아가 자 아파치 스파크, 이제는 내게 아주 쉽다 우리가이 모든 것을 설명하기 위해 이미 본 것으로 Spark은 항상 Hadoop과 함께 사용합니다 독립형으로 사용할 수 있습니다

예, 사실입니다 독립 실행 형을 사용할 수도 있습니다 Hadoop 클러스터가 필요 없으며 간단하게 심지어 스파크 물건 만들기 자신의 간단한 Windows 컴퓨터 및 작업을 시작할 수 있습니다 그것에 다른 것을 요구하지 않고, 당신은 로컬 및 상대방이 재미있는 파일이었습니다 HDFSS를 전혀 요구하지 않아도됩니다

나는 그것의 한 가지 예를 보여 주겠다 그래서 당신은 우리가 어떻게 독립형인지 분명히 알게 될 것입니다 내가 아파치 스파크를 사용할 수 있다는 것을 제외하고는, 나는하지 않는다 RDMS를 연결해도 재미있는 사실입니다 당신이 직접 만들 수있는 많은 장점들이 있습니다

스파크가 거의 100 배 빠른 속도를 제공합니다 너는 그것이 굉장한 속도라고 생각하지 않느냐? 100 배, 나는 이중 또는 삼중에 대해 말하는 것이 아닙니다 같은, 나는 약 100x 시간 더 빨리 말하고있다 스파크가 아주 강력 해지면 많은 기업들이 많은 것을 듣고 있습니다 맵 수신기에서 아파치 스파크로, 왜? 네가 네 답을 얻었 으면 좋겠어

간단 해 뿐만 아니라 당신의 속도가 너무 빨라지고 있습니다 처리 속도가 매우 빠르기 때문에 캐싱이 매우 강력합니다 이 끈기 또는 진짜가 아닌 것은 무엇입니까? 진행 세션 및 데이터 세부 사항 하지만 우리는 메모리에 데이터를 캐시 할 수 있습니다 또한 대부분의 경우에 도움이됩니다

애플리케이션을 배포 할 수 있습니다 원본 YARN 또는 독립 실행 형 클러스터 이제이 이벤트는 아주 좋은 기능입니다 이미 Hadoop을 구성했으며 특정 클러스터를 변경할 필요가 없습니다 아파치 스파크, 핑 플러스 당신이 그것을 사용할 수 있습니다 MapReduce에 무엇을 사용하고 있는지 귀하의 아파치 스파크 유사하게, Spark는 다중, 파이썬 추가와 같은 프로그래밍 언어

(말도 안되는 소리) 그래서, 자바 언어도 많이 사용할 수 있습니다, 그래서이 4 가지 언어가 현재 사용됩니다 둘 다 똑같습니다 둘 다 정확하게 섹션입니다 이제 더 나아가서, 아파치를 통해 스파크, 그래서 우리가 어떻게 그 모든 것을 할 수 있는지 보자

이제 HDFS로 불꽃을 일으켜 더 강력하게 만듭니다 Spark 응용 프로그램을 실행할 수 있기 때문에 매우 쉽게 HDFS의 위에 이제 두 번째로 Spark plus MapReduce 프로그래밍 MapReduce 프로그래밍과 함께 Spark를 사용할 수 있습니다 Hadoop 클러스터에 있기 때문에 실행할 수 있습니다 MapReducee 및 동일한 클러스터의 일부 응용 프로그램 당신은 일반 스파크 응용 프로그램을 사용할 수 있습니다, 필요가 없습니다 모든 것을 바꿀 수 있습니다

당신이 필요로하는 강력한 것들 Spark에 대해 별도의 클러스터를 만들지 않습니다 클러스터를 분리하거나 대량 생산할 수 있습니다 마찬가지로, 만약 당신이 이미 완료 되었으면 Apache Spark에 사용할 수 있습니다 보통 이것은 매우 강력합니다 MapReduce에 대한 이전의 모든 응용 프로그램이 배포되었습니다

YARN에서 Spark하고 그 다리를 가라 MapReduce에서 마이그레이션하려는 기업 아파치에게 그들에게 불꽃을 불어 넣어 삶을 만들고있다 당신이 직접 이야기 할 수 있기 때문에 매우 쉽습니다 클러스터 관리자를 변경할 필요가 없습니다 당신은 직접 작업을 시작할 수 있습니다

원사가 무엇인지 모르는 사람들을 위해 그것에 대해 간단하게, 이것은 클러스터 리소스 관리자입니다, 더 많은 것을 보자 이제 스파크는 어떻게됩니까? Hadoop을 사용하면 그건 스파크가 대체 할 의도가 아니었기 때문이야 하둡, 실제로이 사실을 명심하십시오 Hadoop 프레임 워크의 확장입니다 사람들은이 혼란을 많이 말합니다

우리는 하둡을 대체 할 것입니다 그들은 대체 할 수 없습니다 아직도 모든 것을 고갈시키고있다 당신은 HDFS를 사용하고 있습니다, 당신은 원사를 사용하고 있습니다 그러나 당신이 변화하고있는 처리 스타일 그래서 Spark은 Hadoop을 대체하지 않을 것이며, 사실 확장 기능이라고 부를 수 있습니다 두 번째로 Hadoop 프레임 워크의 MapReduce로 Spark에 대해 이야기 할 때, 이제 그들은 함께 일할 수도 있고 때로는 함께 일할 수도 있습니다

그들은 새로운 응용 프로그램이 아니며 지금은 아닙니다 매우 드문 응용 프로그램이지만 응용 프로그램이있을 수 있습니다 그들이 다시 나누기 위해 쓰는 코드의 일부가 있습니다 MapReduce로 작성한 코드의 일부 이 모든 것이 가능합니다 MapReduce가 필요없는 코드 변환 회사 아파치에게 그들은 시간이 필요할 것 같은데 그들에게 정말로 중요한 발의 그들은 Apache Spark와 관련하여 처리를 시작할 수 있습니다

지도의 나머지 부분은 그대로 그대로 둘 수 있습니다 그러니 천천히 계속 변환 할 수 있습니다 그들은 또한 함께 일할 수 있기 때문에, 그래서 만약 당신이 혼자 스파클을 제공하지 않습니다 어떤 분배 된 그들에 의해 확실히 걸음 나는 의미한다 이미 독립형으로 사용하고 있기 때문에 데이터로 사용하지 않는 경우 그 경우에 확실히 당신은 해방되지 않습니다 Apacaha Spark가 단일 프로세스로 만듭니다 이제 더 나아가 중요한 기능은 무엇입니까? 아파치에서 스파크, 확실히 속도, 다각형, 다각형은 사용할 수있는 여러 언어를 의미합니다

칼라, 파이썬, 자바, 많은 언어들이다 많은 분석을 수행 할 수 있습니다 메모리 계산에서 우리가 실행 중일 때 메모리의 모든 것을 인 메모리 계산이라고합니다 Hadoop을 통합 할 수 있습니다 기계 학습을 적용하면 매우 강력한 아파치, 그것은 매우 강력합니다 Hadoop이 분명히 사용하지 않거나 이렇게합니다

지금도 우리는 마스트 아웃을 가지고 있습니다 대량 학살에 대해 듣지 못했지만 모두들 바란다 가지고 있어야하고, 그렇지 않다면 나는 단지 당신을 설명하게한다 massout은 MapReduce 프로그래밍 프레임 워크입니다 귀하의 기계 학습 알고리즘을 작성하는 데 사용됩니다 그래서 Mahal에서 기계 학습 알고리즘을 작성할 수 있습니다

지금 MapReduce는 문제를 변환하는 데 어려움을 겪고 있습니다 MapReduce에서 지불하고 당신은 내려하지만 이제 MapReduce 자체가 더 느립니다 기계 학습 알고리즘은 매우 이 때문에 자연적으로 수분이 풍부하다 당신의 처형은 마할에서 매우 느릴 것입니다 기계 학습 알고리즘이 이미 더 느리기 때문에 사실 MapReduce 프로그래밍은 본질적으로 느리다

그 마하오 때문에 이제 가끔 비워 졌어 출력물을달라고 요청했는데, 나는 말하고 있지 않다 약간의 시간도 실행하기까지 작은 데이터 세트라면 시간이 많이 걸릴 수도 있습니다 이제 이것은 마호를 가진 중요한 문제입니다, 스파크가 무엇을 생각해 내는지 알아라 SMLA라는 매우 유명한 프레임 워크, Spark MLA, 그는 마호를 대신합니다

이제 MNLA에서 모든 처리가 이루어질 것입니다 기억하기 때문에 대화를 알게 될 것입니다 수분 공급조차도 무슨 일이 일어나고 있는지 기억 속에서 이렇게 될 것입니다 매우 빠른 것, 지금 이것 때문에 MapReduced 프로그래밍이 어떻게되었는지 마할이 사용했던 사람들은 그것을 사용을 중단했습니다 이제 그들이 멈추는이 부분에서 어떤 일이 일어 났습니까? 실제로이 핵심 도구를 사용하여 핵심 개발자 이 마할의 MLA라고하는 단어에 말을 걸어도 지금 마할의 핵심 개발자, 그들 자신 네가 원하면 기계 학습 진행을보다 잘 실행 Spark 프레임 워크에서만 사용할 수 있습니다

실행보다는 Spark MLA를 사용하여 실행 하둡에서, 그게 이유 야 빅 데이터에 대한 기계 학습 알고리즘 모두가 스파크 MLA로 이동하고 있습니다 이 모든 부분을 자세히 살펴 보겠습니다 우리가 스페이스 바 싸움에서 지금 이야기 할 때 이 기능에 대해 논의하겠습니다 스파크는 100 배 빠른 속도로 작동 할 수 있습니다

왜 우리가 이미 알고 있는지 우리는 이미 스피드 네트워크를 가지고 있습니다, 지금 우리가 말할 때 우리는 방금 작성한 다각형에 대해 그리고 마루 자바와 하이브의 규모 그래서, 많은 언어가 지원되고 있습니다 이제 다음 스파크가 중요합니다 게으른 평가, 내가 너를 다시 데려다 줄거야 내 PPT에, 그래서이 경우, 지금은 무엇 실제로 어떻게됩니까?이 실행은 어떻게 여기에서 발생합니까? 그래서, 우선 여기서 일어나는 일은 이 산을 치 자마자 그렇게 좋아지지 않아 또는 섬유가 메모리를 넘어 즉시이를로드합니다 그것은 실제로 그렇게하지 않습니다

이 선을 치면 즉시 이 B 블록은 처음에는 비어있을 것이다 어떤 데이터도 보관하지 않을 것입니다 그러면 어떤 일이 일어날 것입니까? 지금이 숫자를 생성했습니다 다시 B 블록을 생성하고, B 블록을 생성합니다 및 B 6 개의 구획 그러나 그들 모두는 비게 될 것이다, 내부에 데이터가 없지만 filter1

collect를 변경하자마자, 지금 당신이 얻 자마자 무슨 일이 일어나는가? 이 filter1collect는 당신의 F 1에 갈 것입니다 B 4가 아닌 필터 하나를 의미하며, B 5, B 6, 그들은 그것을 말할 것입니다 귀하의 데이터를 인쇄하고 싶습니다 지금 어떻게 될 것입니까? 하나를 필터링하면 데이터가 없다고 말합니다

나는 현재 비어 있습니다, 지금 필터 하나가 갈 것입니다 요청 번호 RDD로 데이터를 제공합니다 이제이 B 하나, B 두, B 세 그들은 지금도 비어 있습니다하지만 그들은 또한 말할 것입니다 나는 비어 있습니다

Ftxt, Ftxt로 갈 것입니다 데이터를 num, num이 데이터를로드하여 하나를 필터링합니다 이 필터는 출력을 제공합니다

그래서이 것을 게으른 평가라고합니다 그 때까지는 행동을 취하지 않을 것임을 의미합니다 인쇄하지 않으면 사전에 실행하지 않습니다 그래서 모든 실행은 그 시간에 시작됩니다 네가 올 때 행동하고 행동하면 큰 프로그래밍 배경에서 그 시간까지 이미이 기능을 보았습니다

당신은 바보 진술을하지 않고 실행하지 않습니다 사전에있는 것, 이제이 부분을 Lazy Evaluation이라고합니다 우리가 원하지 않기 때문에 왜 게으른 평가입니까? 불필요하지만 중요한 때까지 기억 그때 우리는 출력 수단을 인쇄하지 않습니다 우리가 뭔가를 표시하고 싶지 않을 때 그들은 어떤 기관도하지 않을 것이며, 데이터가 메모리에 남지 않아야합니다 불필요하게, 이것을 Lazy Evaluation이라고 부릅니다

여기에서이 부분에 대해서는 Lazy Evaluation이라고합니다 이제 슬라이드로 돌아가 보겠습니다 이제이 부분을보세요 게으른 평가 속성, 이제는 실시간 컴퓨팅 데이터가 올 때와 같이 실시간으로 좋아 당신은 즉시 메모리에있는 물건을 교차 시작할 수 있습니다

그것은 이것이 우리가 가지고있는 네 번째 속성이라고 말했다 이미 볼 수있는 다섯 번째 속성 시작 이 DFS를 사용하면 MapReduce로 작업을 시작할 수 있습니다 우리가 논의한 것과 똑같은 일을 할 수 있습니다 사물처럼 기계 학습을 수행하십시오 그게 이것에 관한 부분입니다

이것이 귀하의 기계 학습을 적용하는 방법입니다 이것들은 스파크의 주요 특징입니다 이제 잠시 쉬고 나서 이야기 할 것입니다 생태계에 대한 세부적인 주제이기 때문에 거기서 나는 좋은 시간을 보낼 필요가있다 그래서 잠시 쉬자

그리고 나서 우리가 시작할 것이고, 그곳에서 휴식을 취한 후에 이야기 할 화제가 많이 남아 있습니다 우리는 또한 실천하고 따라갈 것입니다 결국 프로젝트를 통해 우리는 어떤 종류의 프로젝트를 할 것인가? 다음 학기를 시작할 것입니다 아파치 스파크 (Apache Spark)에 관한 이야기입니다 그러니 10 분 정도 휴식을 취한 다음 다시 돌아 가자

4시 30 분 친구들, 그럼 우리가 시작할거야 생태계와 실용에 대해 매우 중요합니다 그러니 제발, 그러니 4:30까지 돌아 오세요 그래서 모두들 다시 확인할 수 있습니다 모두들 나를 뒤통수 쳐 소리 쳐서 소리 지른다

그래서 더 멀리 나아가 자, 이제 스파크는 예를 들어 RDD 생성과 같은 작업 스파크 코어의 일부인 스파크 코어 모든 라이브러리의 주요 엔진입니다 예를 들어 스파크 시퀀스가 ​​있습니다 당신이 할 수있는 일, 당신은 쿼리를 작성할 수 있습니다 SQL 프로그래밍 방식과 온톨로지에서 당신의 길을 존중하여 회심을 얻으십시오 이것은 계산이 세계에서 일어날 것임을 의미합니다

두 번째로 빠른 심사입니다 그것 때문에 주요 구성 요소 우리가 수행 할 수있는 가능성이있었습니다, 실시간 처리가 가능하므로 스폿 스트리밍이 도움이됩니다 당신은 실시간 처리를 수행 할 수 있습니다 SparkMLib 왜냐하면 기계는 logarithim을 배우기 때문에 내가 토론 할 때이 부분에 대해 방금 토론했습니다 마호에 대해서, SparkMlib은 대체로 대체품입니다

왜냐하면 여기서 알고리즘은 YARN Hadoop에서 우리를 데려 갔다 SparkMLib에서 단 몇 초 만에 수의 토지가 크게 개선되었다 사람들이 그 다섯 graphX로 이동하는 이유 클래스 계산을 수행 할 수있는 곳 인쇄 추천을 연결할 수 있습니다 그래서 페이스 북의 친구가 그것을 생성, 내부 그래프 및 제공합니다 그래프 종류의 계산은 graphX를 사용하여 수행됩니다

Sparks R 이것은 새로 개발 된 회원입니다 그들은 여전히 ​​그것에 대해 노력하고 있습니다 이 버전 중 R은 분석가들이 사용하는 오픈 소스 언어 이제 스파크가 가져온 것 스파크에 대한 모든 애널리스트들은 간단합니다 그들은 이것을 다시 가져 와서 열심히 노력하고 있습니다

주식은 이미 그것을 만들었고, 이것은 가고있다 시장에서 차세대 제품이 될 것입니다 이제이 생태계가 어떻게 생겼는지, 그래서 예를 들어 여러 가지가있을 것입니다 우리가 스파크 시퀀스에 대해 이야기 할 때 가장 모든 계산이 존경심으로 일어나는 시대 RDD에 있지만 Spark에서와 마찬가지로 그는 SQL이라고하는 뭔가가 데이터 프레임이되었습니다 매우 유사한 명확한 RDD 그러나 유일한 차이 앉아있을 데이터가 본문에 표 형식으로 표시됩니다

지금이 경우에는 당신이 그것을 지키고있는 데이터 기능별로 열이 또한있을 것입니다 행 정보를 사용하면 열 정보도 갖게됩니다 그것이 우리가 RDD라고 부르지 않는 이유입니다 실제로 우리는 이것을 상위 3 위라고 부릅니다 마찬가지로, 기계 학습에서도 우리는 뭔가를 만드는 데 도움이되는 ml 파이프 라인이라고하는 것 여러 알고리즘을 결합하는 것이 더 쉽습니다

그래서 당신 ML 파이프 라인이 MLM의 관점에서 무엇을 할 것입니다 이제 스파크 코어에 대해 이야기 해 봅시다 스파크 코어 우리는 이미 거주하고있는 모든 데이터를 논의했습니다 신체에서 우리는 그 데이터를 RDD 이것이 당신의 스파크 코어 구성 요소에 대한 전부입니다 당신이 걸을 수있는 곳 대규모 병렬 시스템에서 모든 데이터가 마침내 다시 배포됩니다

그래서 모든 계산 또한 단호하게 일어날 것입니다 그래서 이것은 당신의 스파크 코어 구성 요소에 관한 것입니다 우리가 스파크의 건축에 ​​대해 이야기 할 때, 이제 이것을 당신의 이름 노드와 관련시킬 수 있습니다 귀하의 용 프로그램이 어떤 전화에 참석하는지 마스터 머신이므로 마스터 머신 비디오의 Spark 컨텍스트와 비슷한 작업자 노드 theta 노드라고 불리며, 그래서 우리는 주식을 표시한다 이 데이터 노드는 깨진 ​​노드로 네가 지킬 수있는 기억이 되라

우리가 세금 집행자라고 부른 기억의 그 공간 보시다시피 여기에 두 개의 데이터 노드가 있습니다 우리가 수행하고있는 명령에 대한 작업 당신이 지킬 RAM의 공간 모든 블록은 실행 프로그램으로 호출됩니다 이제 예를 들어 거주하고있는 블록들 당신은 도트 맵 로직을 사용하여 또는 10 미만의 값, 이제는 논리 RDD에서 실행중인 코드 작업이라고하기 때문에 작업이라고합니다 지금 거기 중간에 가게 매니저는 YARN과 같습니다 또는 무엇이든 지키고 싶은 YARN 부인 그것은 중간 물건이 될 것입니다

이 사이클 경로 컨텍스트로 이동합니다 그 다음에 YARN이 처형에 상처를 입을 것입니다 그러면 코드가 실행될 내부 실행 어디에서 작업을 수행 할 것인지, 또한 원하는 경우 데이터를 캐시하고, 데이터를 캐시하거나 처리 할 수 ​​있습니다 이제 Spark Streaming에 대해 이야기 해 보겠습니다 우리가 이미 토론 한 스파크 스트리밍 당신이 가진 좋은 시간부터 실시간 종류 사용할 수있는 처리 방법은 무엇입니까? 여기에 데이터를 가져 오는 즉시됩니다

데이터를 데이터로 분할하고, 작은 작은 데이터 만 있으면 바로 사용할 수 있습니다 완료된 메모리에서 처리합니다 Spark Screaming의 도움으로 그리고 당신이 만들고있는 마이크로 백업 데이터 Dstream이라고도합니다 이제 우리는 매우 높은 수준에서 이야기하고 있습니다 우리가 단지 너에게주고 싶어서 일들이 어떻게 작동하는지에 대한 아이디어지만 우리가 갈 때 방송국에서이 모든 것들이 스트림에 있습니다

확실히 2 년 반에서 3 년 만에 우리가 모든 것을 다 다루는 것은 불가능합니다 하지만 모든 주제에 대한 개요가 될 것입니다 내가 너에게주는 것은, 뒤로가는 것과 같다 스파크가 일반적으로 무엇인지, 예 스파크 엔진이 당신을 돕고 있습니다

스파크 또는 당신의 물건을 당신의 것으로 바꾼다 데이터 처리를 돕고, 이것이 스파크 처리의 역할입니다 이제 Spark 스트리밍에 관해 이야기 할 때도 마찬가지입니다 지금 당신에 대해 이야기하는 것처럼 스트리밍으로 스파크를 얻을 수 있습니다 실시간 데이터는 다음과 같습니다

당신은 벗어날 수 있습니다, 그것은 여러 소스에 대한 수 있습니다 당신은 카프카를 사용할 수 있습니다, 당신은 그것을 당길 수있는 Hbase를 사용할 수 있습니다 패킷 형식에서 어떤 종류의 데이터까지 실시간으로 데이터를 Spark 시스템에 가져옵니다 그 후에는 아무것도 적용 할 수 없으며, 당신은 스파크 SQL을 적용 할 수 있습니다 의미, 당신은 실행할 수 있습니다 그것 위에 당신의 SQL, 당신은 실행할 수 있습니다 귀하의 컴퓨터가 코드를 실행하고, 당신은 그것의 위에 간단한 RDD 코드를 적용 할 수 있습니다 무엇이든 출력에 다시 저장할 수 있습니다

Hps에서 SQL kafka 마지막 비트 검색 네가하고 싶은 것은 무엇이든 주 예, 언제 데이터가 실시간으로 여기에 남습니다 즉시 같은 크로스를 시작합니다 따라서 다른 라이브러리에서도 데이터를 가져올 수 있습니다 즉시 행동을 시작할 수 있습니다 이제 이것은 여러분이 할 수있는 것과 같은 예제입니다

카프카, HDFS / S3에서 데이터를 가져와 주식을 스트리밍으로 가져 오는 모든 출처에서 그런 다음 HDFS 또는 데이터베이스에 저장하거나 어디서나 UI 대시 보드 비슷한 것들이 당신이 좋아할 것입니다 변환 할 입력 데이터 스트림 작은 전화 데이터의 일괄 처리 및 그 다음 자체의 일괄 처리 당신은 모든 것을 출력 할 것입니다, 그래서 무슨 일이 일어나고 있니? 당신이 만들고있는 데이터의 실천 그래서 나는 작은 것들을 작은 RDD라고 부를 수 있습니다 내가 뭘 만들고있어, 그게 이유 야 여기에 표시되므로 깊은 느낌을 얻고 있습니다

데이터 일괄 처리를위한 작게, 아마도 이것은 활동입니다 짧은 시간 동안 생성 될 것입니다 이제는 모든 결과가 주어집니다 그래서 이것은 매우 높은 수준의 그림입니다 스트리밍 경로가 어떻게 작동 할 것인가

Spark SQL과 유사하게 매우 강력합니다 그것은 당신에게 매우 빨리 결과물을 줄 수 있기 때문에 Spark이있는 SQL을 가지고 있다면 실행할 수 있습니다 스파크 SQL이라고합니다 이제 Spark SQL은 구조화 된 데이터를 처리 할 수 ​​있습니다 세미 구조화 된 데이터는 처리 할 수 ​​없습니다

어쨌든 당신의 비정형 데이터 우리는 SQL 쿼리를 수행하므로 이해가됩니다 그것은 반 구조화 및 구조화 된 데이터는 구조화되지 않은 데이터가 아닙니다 스트리밍 데이터 구조에서 그것은 구조화 될 것이다 그것은 구조화 된 데이터가 될 것이지만 이것은 될 것입니다 구조화 된 데이터로 다양한 형식 지원 당신은 같은 여러 형식에서 데이터를 가져올 수 있습니다, 마루, 제이슨, 어쨌든 하이브는 모든 검색어와 비슷합니다

다른 일을 할 수있는 것은 신념입니다 누가 그렇게 할 수 있는지, 데이터 프레임을 사용할 수 있는지 RDD로도 셔플 할 수 있습니다 Spark SQL에서 모든 일이 가능합니다 당신의 하이브와 비교하면 성능 이게 빨간색 표시라면 자기 시스템에서 매우 높습니다 다른 하나는 Hadoop 시스템입니다

당신이 쉽게 우리가 복용하고 있음을 볼 수 있습니다 Hadoop 시스템과 비교할 때 시간이 훨씬 적습니다 하지만 이것이이 Spark QSL을 사용할 때 가장 큰 이점입니다 이제 Java 드라이버 인 JDBC Java를 사용합니다 또는 Oracle 드라이버 인 ODBC 드라이버 연결 만들기를위한 연결 사용자 정의 함수를 만들 수도 있습니다 하이브 (Hive)에서와 마찬가지로, 스파크에서도 그렇게 해

이미 사전 작성된 API가있는 경우 당신이 만든 크리에이터가 없다면 그것을 사용할 수 있습니다 UDF를 모르는 경우 실행할 수 있습니다 매체 개념의 높은 발생률뿐만 아니라 높이가 일반적인 개념이다 자신 만의 함수를 만들 수 있습니다 쓸 수 있습니다

자신의 Java PUD를 함수로 사용할 수 있습니다 귀하의 후속 또는 유형의 귀하의 UDF를 다시, 그래서 이것은 귀하의 스파크 SQL을가는 방법입니다 이제 일반적으로 워크 플로가 정확합니까? 당신은 어디서부터 데이터 소스를 가지게 될 것인가? 데이터를 가져올 것입니다, 당신은 변환됩니다 데이트 API에, 데이터 API는 단지 유사한 것을 의미합니다 RDD로 보내지 만 표 형식이어야합니다 그래서 열 정보뿐만 아니라 행을 가질 것입니다

이제 이름 열을 갖게 될 것입니다 너는 개 심자를 해석 할 것이다 그것은 계산을하는 통로에 Spark SQL 서비스가 실행 중입니다 결국 당신은 제공하려고 노력할 것입니다 그래서 이것은 높은 수준의 그림입니다

SQL 투표를 통과하는 방법에 대해 설명합니다 이제 Mllib에 대해 이야기 해 봅시다 기계 학습 라이브러리는 두 종류가 있습니다 하나는 alogarithm이고, 초는 감독되지 않은 대수입니다 무 감독 알고리즘 당신은 이미 출력을 알고있다 당신은 이미 그 부분을 알고 있습니다

당신은 뭔가 새로운 것을 예측하고 있습니다 너는 아무것도 모르는 학습을 제공한다 데이터에 대해 이전 날짜 출력 및 원하는 결과 그것으로부터의 결과물, 이것은 감독되지 않은 학습입니다 따라서 Mllib은 우수한 평점을 처리 할 수 ​​있습니다 현재 감독하에 있습니다

우리는 분류, 회귀, 마찬가지로 우리는 클러스터링, SVD 모든 것은 감독되지 않은 사람들도 이용할 수 있습니다 패키지에 포함 된 내용은 여기에 적습니다 단지 실패를 만듭니다 입자의 한계가 있습니까? 아니, 그런 제한이 없어 새미, 알았어 사용할 수있는 모든 것을 실행할 수 있습니다

사실 make라는 이름이 있습니다 당신의 Spark Context는 또한 당신에게 높은 맥락을 가지고 있습니다 이제 상위 쿼리를 실행하려면 파이프 컨텍스트의 도움으로 무엇을 할 수 있습니다 그러한 제한이 없으므로 여전히 코드 높이 쓰기 직접 실행할 수 있습니다 이제 더 나아가 우리가 가진 기술은 무엇입니까? Sparks SQL의 다양한 데이터 소스는 무엇입니까? 그래서 우리는 이미 같은 것을 논의했습니다

우리는 파 켈 (Parquel), 제이슨 (Jason) 내가 너에게 다시 보여주기 위해 돌아 가자 당신은 CSV, 데이터베이스에서 HBase, 오라클, DB, 내 SQL 패키지 및 모든 이것들은 여러분의 데이터입니다 그래서 모든 데이터 소스에서 가져올 수 있습니다 데이터 소스가 너무 많아서 더 이상 사용할 수 있습니까? 아니오, 분류에서 일반적으로 어떤 일이 발생합니까? 예를 들어 주기만하면됩니다

스팸 전자 메일 상자 란 무엇입니까? 나는 스파 킹을 봤어 Gmail의 스팸 이메일 상자에서 이제 새로운 이메일이 나옵니다 Google이 스팸 전자 메일인지 여부를 결정하는 방법 또는 스팸이 아닌 이메일을 분류의 예에는 3을 더한 것입니다 Google 뉴스에서 볼 수 있다고 가정 해 봅시다 당신이 무언가를 타이핑 할 때처럼 모든 뉴스를 모아서 클러스터링이라고합니다

회귀, 회귀는 또한 매우 중요한 사실, 그것은 여기에 없습니다, 회귀가 없다 집이 있다고 말할 수있다 너는 그 집과 너를 팔고 싶다 최적의 가격이 무엇인지 전혀 모른다 집을 임대해야합니다

이제이 회귀가 당신을 달성하는 데 도움이 될 것입니다 네가 본 협업 벤틀리 아마존 뒷 페이지로 이동하면 그들은 당신에게 추천을 보여줍니다, 당신은 이것을 살 수 있습니다 당신이 거기에서 사기 때문에 이것은 끝났습니다 협업 필터링의 도움을받습니다 따라서이 알고리즘은 추천 팩 graphX graphX에서 다시 한 번 중요한 자신감 당신은 모든 문제를 적용 할 수 있습니다, graphX에서 모든 문제를 해결할 수 있습니다

이제 우리에게는 가장자리가있는 여러 가지가 있습니다 관계를 나타냅니다 이제 이걸 다시 볼 수 있습니까? Bob, Carol 이것들은 어디에서 나옵니다 당신은 잎이라고 부를 수 있습니다 이제는 커넥터입니다

그 (것)들 사이에서 H로 불린다, 저것은 다만이다 여기에 화살표가 있으면 지금 여기에 표시됩니다 우리가 본 것처럼 직접 그래프라고 불리는 계보에서도 뭔가 그래서 당신의 유향 그래프입니다 이제 사용 사례는 무엇입니까? 몇 가지 예를 살펴 보겠습니다 이제 여러분 모두는이 Google지도를 보았을 것입니다 구글 맵 당신이 그것을 테스트해야합니다, 이제 구글 맵 그리고 그 뒤쪽에있는 그래프 X 당신이하는 일은 당신이하지 않는 것을 적용 할 때입니다

실제로 한 부분 만 검색하면된다 여러 부품의 경우 최적의 진흙 경로를 보여줍니다 그것은이 시간보다 적거나 링크 거리 일 수 있습니다 지금 계산이 모두 무슨 일이 일어나고 있는지 구덩이 그 모든 것을 검사하는 그래프를 계산하는 것 모든 시간을 계산하는데 소요되는 시간이 줄어들 것입니다

그것은 graphX의 도움으로 끝난다 마찬가지로 보호 기능에 대한 많은 예제가 있습니다 이 graphX를 사용해 주셔서 감사합니다 그들이 본 트위터 또는 LinkedIn을 참조하십시오 친구 추천, 즉 모든 것이 끝날 수있다

그래서 모든 권장 사항은 그래프를 생성하고 그 모든 것을 기반으로 그들은 산출하고 당신에게 산출을 준다, 그래서 거기 또한 graphX ​​실행이므로 graphX는 우리와 함께 사용할 수있는 매우 강력한 대수입니다 이제 프로젝트로 이동하기 전에 너에게 실제적인 부분을 보여주고 싶다 우리가 스파크 것들을 어떻게 수행 할 것인가 VM 머신으로 데려다 드리겠습니다 감독이 제공 할 것이므로이 기계의 감독이 제공하기 때문에 내가 어디에서 갈지 걱정하지 마라

소프트웨어, 내가이 시점에서 무엇을 할 것인가? 그곳에서 모든 역할이 감독의 감독을 받는다 이제 일단 당신이이 곳에 오면 당신은 보게 될 것입니다 이런 기계는 나에게 이것을 시키자 그래서 무슨 일이 생기면 이처럼 빈 머신이 보일 것입니다 이걸 보여 드리죠

하지만이게 당신 기계예요 당신은 무엇을 하려는지 지금처럼 보일 것입니다 일하기 시작하면 이 검은 색 옵션을 클릭하여이 영구 보존 물 그 후에 당신이 할 수있는 일은 당신이 할 수있는 일입니다 이제 너의 스파크에 가지마, 내가 어떻게 일할 수 있을까? 어떤 프로그램을 실행하기 위해 Spark와 함께 스칼라 프로그램을 사용하여 스파크에서 당신을 그것을로 입력됩니다 (말도 안되는 소리) 스파크주의를 입력하면 ELA Pro에 연락하여 경로 프로그램을 작성할 수 있습니다

그러나 ELA 프로그래밍 언어를 사용합니다 당신은 이것을 볼 수 있습니다, 이제 당신은 스파크를 볼 수 있습니까? 그것은 또한 나에게 한 포인트 5 포인트 두 버전을 제공하고 있습니다 스파크 버전입니다 이제 볼 수있는 여기를 볼 수 있습니다 이 부분 컨텍스트는 사용 가능한 상태로 제공됩니다 스파크 쉐이크에 연결되면 당신은 이것이 기본적으로 사용 가능하다는 것을 볼 수 있습니다

너에게,이 공격에 약간의 시간이 걸리게하라 이제 우리는 모두 연결되어 있으므로 연결되었습니다 이 스케일 무도회에, 지금 내가 원한다면 그것의 안에서 나는 단지 타입 출구를 부를 것이다, 그것은 단지 내가이 블록에서 나오게 할 것이다 이제 두 번째로 내 프로그램을 작성할 수 있습니다 내화물로, 내가 할 수있는 일 Spark에서 프로그래밍하고 싶다면 그러나 파이썬 프로그래밍 언어 나는 Spark box와 연결할 것이다

그래서 연결하기 위해서는 Spark를 입력하면됩니다 내 데이터로, 나는 지금 연결되지 않을거야 파이썬이 필요하지 않기 때문에 나는 지금 스칼라 모든 것을 설명 할 것이다 하지만 연결을 원한다면 입력 할 수 있습니다 현장에서 다시 내 스파크에 연결하자

그 동안이 연결되어지고있다 파일을 만들자 파일을 만들자 그래서 당신이 알아 차릴지라도 나는 아무것도 가지고 있지 않다 나는 이미 F

txt를 가지고 있으므로 cattxt라고 해봅시다 나는 1, 2, 3, 4, 5의 데이터를 가지고있다 이것은 나와 함께하는 나의 데이터입니다 나는이 파일을 밀어 붙이게 할거야

이미 선택했는지 확인하십시오 내 시스템에서는 DFS 시스템을 의미하는데, hadoop dfscatatxt 이미 사용 가능한지 빠르게 확인하기 만하면됩니다

좋아, 그런 파일이 없으니 내가 먼저 넣을 게 이 파일을 내 시스템에 보자 atxt 그래서 이것은 dfs의 기본 위치에 놓을 것입니다 지금 내가 그것을 읽고 싶다면 나는이 길을 볼 수있다

다시 한번 저는 여러분이 알고 있다고 가정합니다 이걸 최고의 점수로 생각하면 지금 볼 수 있습니다 이 하나, 둘, 셋, 넷, 다섯이오고있어 Hadoop 파일 시스템에서 이제 내가하고 싶은,이 파일을 사용하고 싶습니다

내 스파크 시스템에서 지금 어떻게 할 수 있니? 그래서 내가 여기 스칼라와 스칼라로 들어 가자 정수 float이없고 Java와는 다릅니다 당신이 integer와 같은 정의를 사용할 때 우리가 정의하는 데 사용하는 것과 같이 10과 같습니다 하지만 스칼라에서 우리는이 티커 테이프를 사용하지 않습니다 사실 우리가하는 일을 그래서 내가 10을 동등하게 사용하면, 자동으로 식별합니다

알 수없는 정수 값입니다 그것은 정수형이라고 말해 줄 것입니다 이제이 값을 20으로 업데이트하려면 나는 그것을 할 수있다, 내가 지금 갱신하고 싶은지 말하자 이런 식으로 ABC로 가면, 화살을 움직일거야 a는 이미 정수로 정의되어 있기 때문에 일부 ABC 문자열 유형을 지정하려고합니다

그래서 그것이 당신이이 화살을 가지고있는 이유입니다 비슷하게, Val이라는 또 하나의 것이 있습니다 발 B는 10과 같다면 할 수 있습니다 그것은 그것과 정확히 똑같이 작동 하나 하나 가지고있다 이 경우의 차이점은 B가 같으면 같음 ~ 20, 오류가 표시되며이 오류의 원인 왜냐하면 당신이 뭔가를 val로 정의 할 때 그것은 상수입니다

견딜 수 없을 것입니다 더 이상, 그것은 상수가 될 것입니다 뭔가를 val로 정의하면 그 이유가 있습니다 업데이트되지 않을 것입니다 해당 값을 업데이트 할 수 없습니다

그래서 이것은 당신이 할 줄 알았어요 귀하의 프로그램, 그래서 다시 가변 부분에 대한 당신의 일정한 가치를위한 발의 이제 너는 이렇게 될거야 이제 예제로 사용 해보자 우리가 배웠다면, 이제 내가 만들고 싶으면 자동차 번호 때문에 TV 번호 sc

textfile과 같습니다 이미 파일로 말한이 API를 기억하십시오 sctextfile 이제이 파일을 atxt로 보냅니다

내가이 파일을 atxt로 주면 스파크를 거의 보지 못했다 문자열 유형의 RDD를 만들었습니다 원하는 경우 지금 이 데이터를 읽으려면 numbercollect를 호출합니다

사용 가능한 값이 인쇄됩니다 너는 볼 수 있니? 여기에서 볼 수있는 것은 당신의 기억에서 나온 것입니다 이것은 읽고있는 메모리에서 나온 것입니다 그것이이 특별한 방식으로 나타나고있는 이유 그래서 이것은 당신이 당신의 단계를 수행하는 방법입니다

이제, 내가 말했던 두 번째 일은 스파크 독립 실행 형 시스템에서 걷는다 고 말하면서, 그래서 지금 무슨 일이 일어 났는지는 우리는이 부분을 우리 역사에서 실행했습니다 이제 로컬 파일 시스템에서이 작업을 실행하려면 그럴 수 있겠습니까? 그렇습니다 이 경우 그렇게하기 위해해야 ​​할 일 차이점이 여기에 올 것입니다 당신이 여기서주고있는 파일은 대신 너는 그렇게 함으로 너는 이 파일 키워드는 그 전과 후에 예를 들어 로컬 파일을 제공해야합니다 이 길은 무엇입니까 / 집 / 나는 그들이 오는가? 이 경로는 경로만큼 깊지 않은 로컬 경로입니다

그래서 / home / cat Eureka / atxt를 작성할 것입니다 자네가 이걸 주면 파일을 메모리에 저장하고 hdfs로는 저장하지 않는다 대신에 그걸로드 한 경우는 무엇입니까? 너의 하,이야, 그래서 그 차이가있다 그래서 두 번째 경우에서 볼 수있는 것처럼 나는 아닙니다

내 Hdfs를 사용하는 것조차도 무엇을 의미합니까? 이제 그들이 왜 이걸 설정했는지 말해 줄 수 있니? 입력 부분 옆에 존재하지 않기 때문에 여기에 오타를 입력했습니다 알았다면 이제 알겠습니다 왜 내가이 오류를 여기에서 얻지 못했을 까? 왜 내가 여기 다른 사람을 얻지 않았어? 이 파일은 존재하지 않지만 여전히 얻지 못했습니다 Lazy Evaluation으로 인한 오류 게으른 평가를 통해 잘못된 경로를 부여한 경우 다른 그것은 비어있는 거래를 만들었지 만 아무것도 실행되지 않았으므로 모든 출력 또는 장면에 오류가있을 수 있습니다 당신이 연결의 그 행동을 명중 할 때

이제는이 값을 수정하기 위해 필요합니다 이 에드카와 내가 연결하면이 시간을 연결한다 작동합니다이 출력을 볼 수 있습니다 하나 둘 셋 넷 다섯

이번에는 잘 작동하므로 지금해야합니다 평가를 같은 것으로 남겨 두는 것이 더 분명하다 잘못된 파일 이름을 지정하는 경우 문제가되지 않습니다 내가 생산 단위에서 스파크를 사용하고 싶다고 가정 해보자 하지만 Hadoop 위에는 가능하지 않습니다

그렇습니다 너는 그럴 수 없어, 너는 그거 할 수있어 미안해 하지만 대개 그건 네가하는 일이 아니라 네가하는 일이야 원한다면 할 수있는 일이 많습니다

당신은 아마존에 그것을 배치 할 수 있습니다 당신이 거기에서 할 수있는 많은 것을 클러스터하십시오 이 경우 분배를 어떻게 제공 할 것인가? 다른 배포 시스템을 사용할 것입니다 그래서이 경우 당신은이 팩을 사용하지 않습니다 당신은 그것을 배포 할 수 있습니다 가지가지 종류의 물건을 나누어 배포 할 수 없다

클러스터에서 당신은 해방되지 못했습니다 그 중복성은 아마존도 아마 뉴스 다 그것으로 충분하기 때문에 그렇게 할 수 있습니다 이걸 사용하면 이제 얻을 수 있습니다 그래서 이것은 당신이 당신의 길을 어떻게 수행 할 것인가입니다

내가이 길에서 너는 어떻게 일할 지 말하기 때문에 내가 너에게 말했듯이 너를 설명 할거야 그래서 이것이 어떻게 작동하는지입니다 이제 재미있는 사용 사례를 살펴 보겠습니다 그래서 우리 PPT로 돌아 가자 이것은 매우 흥미로울 것입니다

이 사용 사례를 보자 이 유스 케이스는 매우 흥미 롭습니다 스파크를 이용한 지진 감지 용 그래서 나는 이미 일본을 보았을지도 모른다라고 생각한다 이렇게 많은 지진이 올 수도 있습니다 그것에 대해 들었습니다

분명히 가질 수 있습니다 네가 들었음에 틀림 없다고 생각하지 않았다 일본에서 일어나는 돌연변이가 너무 많다는 것 예산 문제를 해결하는 방법 그래서 나는 너에게 엿볼 것을 줄 것이다 우리가 세션에서 어떤 종류의 문제를 해결했는지, 확실히 우리는 자세히 걷지 않을 것입니다 이것에 관해서는 Spark가 얼마나 자주 있는지를 알게 될 것입니다

여기서 간단한 설명을 드리겠습니다 그러나이 모든 목표는 그 당시 배울 것입니다 세션의 이제, 그래서이 부분을 보자 이 사건을 어떻게 사용하게 될지, 모두들 어떤 질문이든 알고 있어야합니다 그래서 나는 깨질거야 너의 표면이 흔들리는 것 같아 너의 집이 떨리는 거지, 사실 일어나는 모든 사건들 인도 출신이라면 최근에 보았을 것입니다

온 지진 사건이있었습니다 최근 네팔에서도 네팔에서 싸운다 그 사건이 있었는데, 이것들은 빠른 유지입니다 와서, 지금 매우 중요한 부분은 지진이 큰 지진이라면 earthquick 또는 어쩌면 쓰나미처럼 산불이 화산일지도 모릅니다 이제는 그들에게 친절을하는 것이 매우 중요합니다

균열이 올 것 같아요 그들은 그것을 예측할 수 있어야합니다 미리, 그렇게해서는 안된다 그들이 나가기 위해 나간 마지막 순간 그 후 온 국기는 아무 협박도없이 온다 그것은 그렇게 일어나서는 안된다

이 모든 것들을 미리 예측할 수 있어야한다 그들은 미리 예측할 수 있어야합니다 일본이 오늘 기름을 사용하고있는이 배출 시스템 실시간 유형의 사용 사례입니다 내가 제시하고있는 것이 일본이 이미 존재하기 때문이다 해결하기 위해이 경로를 사용하여 펭귄 이 지진으로 우리가 보게 될 것입니다

그들이 그것을 어떻게 사용하는지 이제 일본 지진 모델에서 어떤 일이 일어 났는지 말해 보겠습니다 그래서 지진이 올 때마다 예 : 오후 3시 또는 오후 2시 46 분 지금 일본 지진 조기 경보가 예측되었다 이제 그 일은 내가 예측 한대로 였어 즉시 그들은 학교에 경보를 보내기 시작합니다

모든 역의 공장까지 엘리베이터로 TV 방송국을 통해, 그들은 즉시 친절 모든 사람들에게 말했습니다 그래서 모든 학생들은 학교에 거기에 그들이 갈 시간이있어 책상 아래, 달리기 전의 탄환 열차 그들은 즉시를 제외하고 다르게 멈췄다 이제 탄환 열차가 흔들 리기 시작합니다

이미 초고속으로 연소하고있다 그들은 정렬이 없어야한다는 것을 보증하기를 원한다 그 사상자 때문에 총알 기차가 멈췄다 모든 엘리베이터들 달리는 리프트가 멈췄다

그렇지 않으면 어떤 사건이 일어날 수있다 60 초 전, 60 초 전 그들이 거의 알릴 수 있었던이 번호 모두, 그들은 메시지를 보낸다 그들은 TV에서 모든 것을 방송했습니다 그들은 즉시 모든 논문을 마쳤습니다 최소한이 메시지를 보낼 수 있도록 누구든지 그것을받을 수 있고 구원 받았다

수백만의 생명, 그래서 그들이 어떻게 할 수 있었는지 우리가이 모든 것을 다했다는 것을 성취하기 위해 팔꿈치 아파치 스파크의 그들이 어떻게 지내기 전에 가장 중요하다 당신은 그들이하고있는 모든 것을 볼 수 있습니다 거기 그들은 실시간 시스템에서 그것을하고 있습니다 데이터를 수집 할 수 없으면 나중에 그들이했던 모든 과정은 실시간 시스템, 그래서 그들은 연결 즉시 처리되는 데이터 및 곧 그들이 지진을 감지하자마자 그들은 즉시 실제로 이것이 2011 년에 일어난 사실을 알려주었습니다 이제는 매우 자주 사용하기 시작합니다

일본은 이것은 매우 빈번하고 영향을받습니다 그래서 중요한 것은 우리가 할 수 있어야한다는 것입니다 데이터를 처리하기 위해 미디어에 문제가 없다 여러 소스의 데이터를 처리 할 수 ​​있어야합니다 그들은 여러 출처에서 올 수 있기 때문에 서로 다른 소스 일 수 있습니다

이 사건은 다른 어떤 사건이 수정 되었기 때문에 우리는이 일이 일어날 수 있다고 예측하고있다 그것은 매우 사용하기 쉬워야합니다 그것은 사용자를위한 것에서 매우 복잡합니다 그것을 사용하는 것은 매우 복잡해질 것입니다 문제를 해결할 수없는 경우 지금도 결국에는 많은 메시지를 보내는 방법 오른쪽 하단까지, 모든 것들 스파크가주의를 기울입니다

이제 두 가지 종류의 레이어가 있습니다 지진이 일어나면 프라임 기부와 두 번째 건물 스파크에는 두 가지 종류의 방법이 있습니다 초벌절 파도는 벤더와 같거나 언제입니까? 시작하려면 Dickey Center에서 시작하십시오 go 또는 20을 시작하여 시작할 것입니다

이차적 인 물결이 더 심하다 친구 한테도 불을 붙 였지 일단 시작되면 2 차 실패로 그것은 크게 손상을 입힐 수 있습니다 당신은 초기 파동을 말할 수 있지만 두 번째 파동 우리는 그것의 위에있을 것이다 그래서 그들은 발견한다 세부 사항을 만든다 그 점에 관해서는 그 세부 사항에 대해서는 언급하지 않을 것입니다

하지만 여기에 관해서는 그와 관련하여 몇 가지 세부 사항이있을 것입니다 이제 우리가 스파크를 사용하여 무엇을 할 것인가? 우리는 우리의 정직을 창조 할 것입니다 그럼 우리 기계에서 보자 우리가 OC보다 얼마나 싸게 계산할 것인가? 어떤 것을 사용하여 나중에이 문제를 해결할 것인가? 도움으로이 알파를 계산할 것입니다 스파크 시스템의 우리가 다시 와서하자 이 기계에, 지금 그 일을하기 위해서 일단이 용어를 빠져 나가면 빠져 나오십시오

이 관심사에서 지금 당신이하려는 일 나는이 프로젝트를 이미 만들었고 여기에 보관했다 왜냐하면 우리는 당신에게 이것에 대한 개요를주고 싶기 때문입니다 내 다운로드 섹션으로 가자 src라는 프로젝트가 여러분의 프로젝트입니다 처음에 당신이 가질 모든 것 너는 모든 일들을 처음부터 끝내지 않을 것이다

그래서 무슨 일이 일어날 지 그래서 내가 가면 여기에서 내 다운로드에는 alt 프로젝트가 두 개 있습니다 지금은 처음에는 내가 생각하는이 목표 디렉토리 프로젝트 디렉토리 우리는 SBT 심볼 위에 사용할 것입니다 가위 확장 도구를 SBT로 모르는 경우 모든 의존성을 처리합니다 check는 모든 의존성을 충분히 처리합니다 그래서 mebane과 매우 비슷합니다

이미 Mebane을 안다면, 매우 유사하지만 동시에 나는 선호한다 이 SBB는 SBB가 쓰기 쉽기 때문에 당신의 방법과 비교하여 이 법안을 쓸 때 생각을 쓰는 중이다 그래서 이것은 당신에게 buildsbt를 쓸 수있게 해줍니다 이제이 시점에서 프로젝트의 이름, 버전 의 스칼라 버전을 사용하여 당신은 의존성이 무엇인지를 사용하고 있습니다

당신은 어떤 버전의 의존성을 가지고 있는가? 당신은 예를 들어 4 개의 스파크가 있습니다 저는 152 버전의 스파크를 사용하고 있습니다 내 프로그램에서 뭐든간에 나는 무엇이든을 요구하는 경우에 쓰고있다, 스파크 작업과 관련된이 웹 사이트에서 가져 오기 org

apachespark, 다운로드하여 설치하십시오 Spark 스트리밍 프로그램에 대한 종속성이 필요한 경우 이 특정 버전 152 이 웹 사이트 또는이 링크로 이동하여 실행하십시오

가장 좋은 몫에서 비슷한 것을 말하고 있습니다 자, 일단이 작업을 완료하면 폴더 구조, 폴더 구조 SRC 폴더를 만들어야합니다 그 후에 당신은 메인 폴더를 만들 것입니다 주 폴더에서 다시 만들 것입니다 ELA라는 폴더 이제 그 안에 당신은 당신의 프로그램을 지킬 것입니다

그래서 지금 여기서 당신은 당신의 프로그램을 작성할 것입니다 그래서 너는 이걸 볼 수 있니? streamingscala, networkscala, rscala

그럼 아래의 블랙 박스로 유지합시다 그럼 당신은 달성 코드를 작성하는 것입니다 이 문제 성명서, 지금 우리가하는 것 이 일에서 나가자 기본 프로젝트 폴더로 이동하고 여기에서 당신은 sve 꾸러미를 쓸 것이다, 존경심을 가지고 다운로드가 시작됩니다 당신의 프로그램을 검사 할 것입니다 스파크 경로에 필요한 의존성 경로 스트리밍, Spark MLlib 다운로드 설치하고 다운로드하면됩니다

설치하고 실행하지 않을 것입니다 전에 이미 해 봤기 때문에 또한 시간이 걸리기 때문에 그 이유가 있습니다 나는 그것을하지 않고있다, 이제는 네가 채운 후에 이 패킷은 모든 디렉토리를 찾을 수 있습니다 직접 현장 프로젝트 디렉토리 이것들은 이것들의 나중에 만들어졌다 이제 어떻게 될 것인가? 이걸 만들었 으면, 이클립스에 갈거야

그래서 이클립스를 열고 이클립스를 열어 보겠습니다 모든 파일이 준비되어 있습니다 지금 나는 이미이 프로그램을 내 앞에두고있다 하지만 당신이 어떻게 데려 올지 말해 줄 게요 이 프로그램은 이제 너에게 갈거야

두 가지 옵션 모두에서 가져 오기를 선택하면 기존 프로젝트를 작업 공간으로 가져오고, 다음에 한 번 선택하면됩니다 예를 들어 주 프로젝트를 선택해야합니다 분화구를위한이 r2 프로젝트 좋아, 일단 그렇게하면 여기에 프로젝트 디렉토리가 있습니다 도구가 여기 올 것입니다 이제해야 할 일이 있습니다

너의 것과 같이이 프로그램을 모두 무시하라 클로렐라 만 있으면 돼 내 주요 기능 코드를 작성했습니다 이제 그 일이 끝나면 당신은 치유 사 응용 프로그램으로 실행해야합니다 코드가 실행되기 시작합니다

이제이 오류가 나를 반환합니다, 이 출력을 보자 자, 이걸 보면, 한 번 보여줄거야 실행이 끝났습니다 ROC 아래의이 영역을 자주 봅니다 그래서 이것은 모두 로우 패스 프로그램으로 계산됩니다

마찬가지로 다른 프로그램들도있다 속도를 화면에 표시하는 데 도움이 될 것입니다 나는 그 모든 것을 다 걷지 않고있다 이제 내 PPT로 돌아가서 우리가 무엇을 할 지 다음 단계는 무엇입니까? 그래서 당신은 이것을 볼 수 있습니다 엑셀 시트 나는 지금 ROC를 유지하고있다 이제 ROC를 만든 후에 우리는 그래프를 생성 할 것입니다

현재 일본에는 중요한 것이 하나 있는데, 일본은 이미 지진의 영향을 많이받는 지역이다 이제는 그 문제가 무엇이든간에 사소한 지진에도 마찬가지야 경고를 보내기 시작해야합니다 사소한 애정 때문에 모든 것을하고 싶지 않아 사실 건물과 기반 시설 일본에서 만들어진 것은 그런 식으로 여섯 가지 규모 아래 지진이 발생하면 거기에 가정의 방법으로 설계된 아무런 피해도 없으며 피해도 없을 것입니다

그래서, 이것은 당신이 일할 때 가장 중요한 것입니다 일본에있는 일본인들과 그래서 6이라는 의미는 묻혀 있지 않습니다 6 세 이상, 그들은 걱정하고 있습니다 이제 그들은 그래프 생성이 될 것입니다 네가 할 수있는 일, 너는 다시 할 수있어

이 그래프를 생성하면 너는 아무 것도 보지 않고 너는 가고있어 6 세 이상, 6 세 이상인 경우 우리는 즉시 그들을 시작해야합니다 이 프로그래밍 사이트를 알고 있다면 우리가 방금 만든 것입니다 너는이 실행 경로를, 지금 가지고 있다면 동일한 결과를 시각화하기 위해 이것은 무엇인가? 내 ROC를 보여주고 있지만 내 지진이 6보다 커지면 그때 파도 나 많은 것들만이 일어납니다 그렇지 않으면 평온을 유지하는 모든 사람들에게 배우십시오

그것이 프로젝트입니다 우리가 일반적으로하는 것입니다 우리의 공간 프로그램 디자인을 보여줍니다 이제는 우리가 친절한 유일한 프로젝트가 아닙니다 여러 개의 제품 세그먼트를 생성하는 방법 예를 들어 내가 좋아하는 모델을 만드는 것처럼 어떻게 벽을 만들지 않을 수도 있습니다

존경심으로 어떤 판매가 일어나고 있는지 스파크와 아파치를 사용하고있다 거기서 끝나고 산출물을 시각화하는 것 어떤 분석을 하든지간에 이 모든 것을 그렇게 주문하고 있습니다 우리가 세션을 할 때 우리는 당신을 걸어 간다 배운 모든 것들은 운임과 느낌 이 모든 프로젝트는 현재 사용 중입니다 당신이 화제를 알지 못하기 때문에 당신은 할 수 없습니다

그 때 프로젝트의 100 %를 얻으려면 주관적인 각 주제를 알게되면 당신은 스파크가 어떻게 생겼는지에 대한 명확한 그림을 갖게 될 것입니다 이 모든 새로운 공간을 끝내고 있습니다 그래서 우리가 토론하고 싶은 것을 선택합니다 두 번째 부분과 함께, 그래서이 세션을 바란다 여러분 모두에게 유용합니다

통찰력이 있습니다 스파크가 작동하는 방법, 왜 우리가 갈 거에요? 스파크와 무엇에 관한 이용 가능한 중요한 것들과 그게 중요해 (말도 안되는 소리) 그들 중 한 명에게서 질문이 있으면 물어보십시오 너 뭐야, 아파치 스파크 뭔가 리얼 타임에서는 아직 내가 거의 다 보통이다 실시간을 만들 수는 있지만 유용하지는 않습니다

그래서 우리가 시도하기 때문에 거의 원자로에 가깝습니다 어떤 사람들하고 너에게 말하고있어 정확히는 아니지만 심지어 내 목소리까지 도달합니다 최소한 몇 초 만에 최소한 당신에게 또는보고있는 경우에도 나노초 단위 내 화면에서 당신은 예외에서 그 데이터를 보지 못한다 스파크 리얼 타임 스쿼터에있는 것의 정의 할 수 없으므로 짝수가 될 것입니다

거의 실시간으로 불리는 사소한 지연 그것이 우리가 결정할 수있는 것입니다 일반적으로 이것이 우리가 설계하려고하는 것입니다 사실 그것은 거의 다른 질문 일 것입니다 누구든지이 세션은 매우 도움이됩니다 나는 오늘 나를 많이 고마워했다

그래서, 만약 당신이 세부 사항을 배우고 싶다면 당신은 Tilaka와 연락을 취할 수 있습니다 나도 거기있는 다른 사람이고 너에게 말해 줄께 이 시장에서 가장 인기있는 주제입니다 지금 당장 이용할 수있는 직업이 너무 많아요 내 말에 순종하지 말고 그냥 가라

당신이 최대 일자리를 볼 수있는 자신을 탐험 해보세요 큰 데이터를 가져 왔고 그 이유는 많은 사람들이 아파치쪽으로 움직이고 있습니다 드레이프 나는 그것을 배우는 많은 학생들이 머리를 가지고있다 우주선을 만드는 사람들이 많이있다 이 도메인에서 일을 성공적으로 마쳤습니다

이 모든 것을 흥미있게 만들어 주신 모든 분들께 감사드립니다 이 에드레카 세션을 좋아하길 바래 무슨 길을 다시 우리가 다시 한 번 에드레카 세션입니다 나는 너를 다시 한번보고 싶다 그래서 모두 감사합니다 이 비디오를 듣고 즐거웠기를 바랍니다

친절하게 대해 주시고 댓글을 달 수 있습니다 의심이나 의문이 생기면 우리는 대답 할 것입니다 가장 빠른 시일 내에 그 (것)들에게 더 많은 동영상을 찾아보십시오 우리의 재생 목록과 우리의 에드레카 채널에 가입 더 배우고 행복하게 배우기

Introduction to IoT | IoT Projects-Smart Chair | IoT Tutorial for Beginners | IoT Training | Edureka

안녕하세요,이 분들은 에드레카 (Edureka)의 바하라 (Bharani)입니다 오늘의 교육 세션에서 우리는 사물의 인터넷은 왜 다음 큰 혁명 이니, 이해하자

오늘의 교육 목표에서 우리는 무엇을 이해하는지 시작합니다 정확히 인터넷의 사물이고 우리는 다음의 진화를 살펴볼 것입니다 인터넷은 IOT 아키텍처를 통해 갈 것이며 다음을 살펴볼 것입니다 IOT에 사용 된 여러 개발 보드와 마침내 우리는 Raspberry Pi 3을 사용하는 스마트 의자의 개념 목표는 마침내 나에게 채팅을 적어서 확인을 준다 상자 괜찮아요

라비가 분명하다고 말하면서 샘 팔라비는 질문을했습니다 Arduino와 IOT 개발 키트를 묻습니다 Pallavi Arduino가 있습니다 실제로 오픈 소스 하드웨어 및 소프트웨어 회사는 자신의 IOT 장치를 만들기위한 싱글 보드 마이크로 컨트롤러 귀하의 질문에 대답 Pallavi 괜찮아 그래서 Pallavi 예 맞아요 모두들 지금 Eureka의 IOT 인증 과정을이 과정에서 이수하 실 겁니다 센서 및 부품 통합을 사용하여 IOT 솔루션을 개발하는 방법을 배우게됩니다

빅 데이터 (Big Data)에서 IOT를 구현하고 활용도 및 추출 된 데이터의 모델링이 과정에 포함 된 유스 케이스 및 실습 IOT 기술이 어떻게 미래를 변화 시킬지 이해하는 데 도움이 될 것입니다 이 교육이 끝나면 귀하는 다음과 같은 역할과 책임을 배우게됩니다 IOT 개발자 바로 지금 당장 세션을 시작해 보겠습니다 인터넷이라는 용어는 기본적으로 인터넷이 기본적으로 전세계 컴퓨터 연결 인터넷은 공유 할 데이터 고속도로를 제공합니다 전 세계 한 곳에서 다른 곳으로 네트워크를 통한 정보 제공 컴퓨터 연결에서 인터넷의 기능을 확장 할 때 세계적으로 몇 개의 작은 전자 장치를 연결하는 것 Internet of Things 스마트 한 창의력을 지닌 스마트 한 장치가 이제는 만들어졌습니다

IBM Internet of Things에 따라 IOT에 대한 IBM의 정의를 살펴보십시오 모든 장치를 인터넷에 연결하는 개념과 다른 장치를 인터넷에 연결하는 개념 인터넷의 물건 인터넷은 연결된 일을하는 거대한 네트입니다 모든 사람들은 그들이 사용하는 방식에 관한 데이터를 수집하고 공유합니다 그들 주위의 신체 환경 그래서 지금 우리는 정확히 내가하는 일의 인터넷이 무엇인지를 이해했습니다 인터넷의 진화를 살펴보면 인터넷 시대 이전의 대부분의 인간과 인간의 의사 소통은 고정 된 이동 전화를 통해 문제가되었다

유선 전화를 사용하면 통신 회사와 전화 통화를 예약해야합니다 가능한 경우 가끔 연결하기 때문에 수 시간 또는 며칠이 걸릴 수 있습니다 그때 인터넷의 근원으로 세계는 즉시 바뀌었다 지리 정보를 고려하지 않고 정보를 공유 할 수있는 메커니즘을 제공했습니다 위치는 대륙이 될 수 있고 여전히 중요한 정보를 공유 할 수 있습니다

버튼 클릭과 블로깅 소셜 미디어 발명이 시작된 후 MySpace와 LinkedIn과 같은 인기 사이트에서 폭발적인 인기를 얻었다 2000 년대 초 YouTube는 2005 년에 나왔습니다 먼 거리에서 서로 의사 소통하고 공유하는 사람들 2006 년 페이스 북과 트위터가 전 세계 사용자에게 공개되었습니다 오늘날 소셜 네트워킹 사이트의 엄청난 다양성과 그 중 많은 것들이 있습니다 교차 게시를 허용하도록 연결될 수 있으므로 사용자가 친밀감을 희생하지 않으면 서 최대한 많은 사람들에게 다가 갈 수있다

사람과 사람의 의사 소통이 가능하며 컴퓨터 및 그러므로 인터넷은 거의 전적으로 인간에 의존한다 인터넷에서 거의 모든 데이터를 이용할 수있는 정보 기록을 눌러서 인간에 의해 처음으로 붙잡혀 만들어졌습니다 디지털 사진을 찍거나 바코드를 스캔하는 버튼은 사람들이 문제입니다 제한된 시간의 주의력과 정확성을 가지며 이는 모두 좋지 않다는 것을 의미합니다 실제 상황에서 데이터를 캡처하는 데만 사용하고 컴퓨터가 있으면 감사합니다

데이터 또는 가제트를 사용하지 않는 것에 대해 알아야 할 모든 것 우리의 모든 도움은 우리가 모든 것을 추적하고 세며 대대적으로 사물을 교체해야 할 때 알 수있는 낭비, 손실 및 비용을 줄입니다 수리 및 그들이 신선하거나 과거 최고 였는지 여부는 모두 인터넷 오브 사물을 통해 지금까지는 IOT가 인터넷에 연결되어 있지 않다는 것을 이해했을 것입니다 실제로 소비자 장치는 IOT가 가능한 시스템을 구축 한 기술입니다 현실 세계의 자극에 자율적으로 감지하고 반응 따라서 인간의 개입은 확실한 프로세스 흐름을 개발할 필요가있다 프레임 워크는 IOT 솔루션이 내장되어 있으므로 Internet of Things는 엔티티 또는 고유 한 물리적 장치입니다

임베디드 시스템을 식별하고 네트워크를 통해 데이터를 전송할 수있는 능력 이러한 것들에는 센서와 액추에이터가 장착되어있어 전송하는 장치의 센서 신호 수용 및 처리 물리적 환경의 정보를 신호로, 액추에이터는 센서로부터의 신호에 작용하는 장치이며, 수집 된 정보를 전송하기 위해 출력물로 변환 아두 이노 (Arduino)와 같은 하드웨어 구성 요소와 라스베리 파이 (Raspberry Pi)는 센서는 아날로그 형태로 시작하여 집계하여 다운 스트림 데이터 수집 시스템을위한 디지털 스트림 이러한 데이터 집계 및 변환 기능을 수행합니다 센서 및 액츄에이터에 근접하여 설치되는 수집 시스템 예를 들어 펌프에는 6 개의 센서 및 액추에이터가 포함될 수 있습니다 데이터를 데이터 집계 장치에 공급할뿐만 아니라 데이터를 디지털화하고 거기서 인접한 게이트웨이 장치 나 Cir 단어가 될 것이므로 데이터를 디지털화하고 IOT 데이터가 디지털화되면 다음 단계로 전달합니다 통합되어 IT 영역으로 넘어갈 준비가되었지만 데이터에 필요할 수 있음 데이터 센터에 들어가기 전에 처리해야합니다 IT 처리 시스템은 원격 사무소 또는 기타 에지 위치에 배치 될 수 있습니다

그러나 일반적으로 우리는 시설이나 장소에서 그들이 더 가까이에 거주하고 있다고 말했습니다 센서는 예를 들어 와이어 링 클로짓과 같이 통과하지 않고 펌프의 bration 데이터로 원시 처리하여 데이터를 집계하고 변환 할 수 있습니다 그것을 분석하고 각각에 관해서만 투사를 보냅니다 장치가 더 자세한 처리가 필요한 깔끔한 서비스 데이터에 실패하고 피드백이 즉각적이지 않아도 물리적 인 보다 강력한 IT 시스템이 분석 할 수있는 데이터 센터 또는 클라우드 기반 시스템 데이터를 안전하게 관리하고 안전하게 저장할 수 있습니다 센서 데이터를 다른 소스의 데이터와 더 잘 결합시켜야합니다

통찰력 4 단계 처리는 클라우드 또는 전제 조건에서 수행 될 수 있습니다 하이브리드 클라우드 시스템이지만 그 단계에서 실행되는 처리 유형은 그대로 유지됩니다 플랫폼에 관계없이 동일하므로 IOT 솔루션 아키텍처였습니다 이제 우리는 다른 IOT 개발 보드를 살펴볼 것입니다 우리는 Arduino에서 시작하여 Arduino는 오픈 소스 플랫폼입니다

전자 프로젝트를 구축하기 위해서는 물리적 프로그래밍 가능 회로 보드 및 소프트웨어 또는 IDE의 조각을 누른 다음 우리는 라즈베리 파이 나무 딸기 파이 원래 교육용으로 설계된 신용 카드 크기의 컴퓨터이며 1981 년 영국 BBC 마이크로에서 영감을 얻은 이유는 단일 보드 컴퓨터가 약 700MHz의 ARM 프로세서가 탑재 된 Broadcom의 칩 시스템 그리고 256에서 512 메가 비트 램의 가격은 파이 모델의 경우 약 35 달러이며, 많은 온라인 및 실제 매장을 통해 구입할 수 있으며 인텔 Galileo Intel Galileo는 Arduino 인증 제품 중 첫 번째 제품입니다 Intel x86 아키텍처 기반의 개발 용 부츠입니다 제조업체 및 교육 커뮤니티 인텔을 기반으로 한 최초의 보드입니다 방패와 호환되는 하드웨어 및 소프트웨어 펜이되도록 설계된 아키텍처 당신이 알고있는 Arduino를위한 디자인 r3 IOT에 사용되는 일부 개발 부츠의 복용량 이제 우리는 진행할 것입니다 첫 단계가 될 수 있도록 라즈베리 파이를 구성하는 방법을 이해해야합니다

거기에 나무 딸기 파이 도트 org에서 운영 체제가 다운로드 다운로드 그래서 우리는이 raspbian을 다운로드해야 할 것입니다 운영 체제 다운로드 후이 zip 파일을 다운로드합니다 운영 체제가 SD 카드에로드해야하기 전에 우리는 SD 카드를 포맷해야하므로이 사이트의 SD 카드로 갈 것입니다 도트 org는 SD 카드 형식을 다운로드 할 수 있습니다 이제 소프트웨어를 사용할 수 있습니다

Windows 및 Mac 시스템 모두에서 사용할 수 있으며 Windows 시스템을 사용하고 있으므로 다운로드 할 수 있습니다 Windows 용 라이센스 계약에 동의하겠습니다 우리가 필요로하는 SD 카드를 포맷 한 후에 다운로드가 시작됩니다 운영 체제를 SD 카드에 플래시 할 수있는 디스크 이미 저 우리는 sourceforgenet에 가서 win32 디스크 이미 저를 다운로드 할 것입니다

다시 다운로드를 클릭하면 다운로드가 시작됩니다 그래픽 데스크톱 공유 시스템이 필요합니다 그래픽 사용자 인터페이스를 사용하는 Raspberry Pi는 진짜 VNC입니다 GUI를 사용하여 Raspberry Pi와 함께 작업 할 수있게 해주는 소프트웨어 BNC 뷰어를 다운로드하면 다운로드가 시작되고 위의 단계를 통해 SD 카드를 라즈베리 파이에 삽입 할 수 있습니다 전원 케이블을 PI에 연결하고 전원 케이블을 PI가 개방형 Wi-Fi 네트워크 검색을 시작할 것이므로 우리가 할 일은 우리 시스템에서 핫스팟을 켜면 Raspberry Pi가 우리의 시스템에 연결됩니다

컴퓨터의 Wi-Fi와 일단 컴퓨터의 Wi-Fi에 연결되면 Raspberry Pi의 동적 IP 주소를 볼 수 있습니다 IP 주소를 입력하고 대화 상자 나 뷰 NC 뷰어에 내려 놓습니다 이것은 우리에게 Raspberry Pi로 작업 할 수있는 그래픽 사용자 인터페이스를 제공합니다 그러니 가자 그러면 내가 설정으로 가서 라즈베리를 보자

Pi는 이미 내 Wi-Fi 네트워크에 연결되어 있으며 동적 IP입니다 라즈베리 파이의 주소를 입력하면이 IP 주소를 받아 들일 것입니다 이제 VNC 뷰어의 대화 상자가 나에게 GUI를 제공합니다 – ok transferee 이제 스마트 의자의 개념을 이해하고 이해합니다 똑똑한 의자를 사용하면 앉아있는 것보다 훨씬 더 많은 것을 할 수 있습니다 똑똑한 응용 프로그램을 사용하면 자녀가 전기를 절약 할 수 있습니다

그리고 에어컨 비용은 클라우드에서 실행되는 프로그램이 될 것입니다 사무실 바닥에있는 모든 좌석이 지정된 시간 동안 센서가 의자에 센서를 조명 및 공조 시스템에 설치하고 전원을 켜십시오 똑똑한 의자를 다른 용도로 사용하지 않으면 우리가 상당히 큰 강당에서 특정 좌석을 찾는 강당은 홀이 부분적으로 만 채워지고 사람들이 공석에 대한 지식을 지키면 관객에게 엄청난 도움이 될 것입니다 지정석이 없다 좌석 점유에 대한 지식 또한 행사를 제공 할 것이다

좌석 점유 및 출석 패턴에 대한 데이터가있는 조직자 또 다른 재미있는 시간에 당신은 당신의 상사 밑에 IOT 장치를 둘 수 있습니다 귀하의 상사가 기내에 있는지 여부와 언제 귀하가 알 수 있도록 의자 그는 너 주위에 있지 않아서 행복하게 낮잠을 자고있어 그래서 우리 자신의 IOT 기반의 마처를 만들자 라스베리 파이는 Smasher를 만들어야 만했던 이래로 그 감각에는 8 가지 특징이있었습니다 8 개의 RGB LED 매트릭스와 미니 조이스틱 및 센서를 연결하는 자이로 스코프 가속도계 자력계 온도 센서 습도 센서 및 기압계 압력과 이것이 우리가 알아낼 수있는 파이썬 코드입니다

의자가 비어 있거나 VNC 뷰어로 이동하여이 코드를 올바르게 이해하지 못하게하십시오 그래서 이것은 코드 모션이나 py입니다 그래서 우리가하는 일이 이해됩니다 우리는 감각 모자 패키지를 가져오고 있으며 감각 모자 패키지가 필요합니다 그래서 우리는 라스베리 파이 (Raspberry Pi) 꼭대기의 센스 모자로 작업 할 수 있습니다

우리는 또한 시간 패키지를 가져와 라즈베리 파이를 이 두 패키지를 가져온 후에 잠자기를하면 전체 코드를 내부에서 작성하고 있습니다 이 클래스는 센서 감지로 이름을 정하고이 클래스 안에 있습니다 감각 모자에서 값을 읽고 그 값을 감각에 저장 이제 우리가 할 일은 변수의 값을 계속 읽는 것입니다 가속도계에 저장하고 가속도 개체를이 개체에서 저장합니다 우리는 x 축 y 축과 z 축의 값을 취하여 XY와 Zed에 저장합니다

변수가 각각이 세 변수는 XY 및 z 축을 계산 한 후 x의 값을 10 진수로 반올림합니다 똑같은 장소에서 y 값을 소수점 이하 자릿수로 낮추면 우리는 말한 값을 첫 번째 소수점 이하로 반올림 한 후 인쇄합니다 x y & z의 값을 인쇄 한 후 x y & z의 값은 라즈베리를 넣을 것입니다 파이가 2 초 동안 잠을 자면 우리가이 일을하는 동안 값을 출력 할 것입니다 x y & z와 그 다음 나무 딸기 파이는 잠을 자고 자면 Z가 0보다 크거나 같으면 메시지가 표시됩니다

chain의 값이 0보다 작 으면 체인이 비어 있거나 다른 한편으로는 의자가 비어 있지 않다는 메시지가 나옵니다 비어 있고 그 축이 긍정적 인 것을 의미하지만, 누군가가 와서 의자에 앉아서 의자가 뒤로 젖혀지며 기울기 z 축은 이제 음의 값을 가지므로 메시지를 얻습니다 의자가 비어 있지 않으므로 터미널에서이 명령을 실행 해 봅시다 우리는 코드를 실행하거나이 명령을 사용하여 Python 모션 다트 py 및 코드 개가 작동하기 시작합니다 그래서 여기서 볼 수있는 것은 값입니다

XY와 Z의 값을 출력하고 xy & z의 값을 출력 한 후에 우리는 내 전화기에서 같은 코드를 실행하고 싶다면 의자가 비어있다 ssh 클라이언트가 필요합니다 그런 ssh 클라이언트는 Android와 iOS 휴대 전화를 종단 앱으로 사용할 수 있도록 다음과 같은 목적으로 내 안드로이드 폰을 다운로드 한 후에이 코드를 실행 해 보겠습니다 당신이 볼 수 있듯이 지금 전화는 내 전화에 모션 코드를 py 코드를 실행했습니다 그래서 나는 xy와 z 축 값을 얻는다 의자가 비 었음을 알려주는 메시지가 지금 내 친구가 올 것입니다

내 친구가 우리가 보는 의자에 앉아서 의자에 앉는다 z 축의 값에 변화가 있고 메시지에도 이제 우리는 의자가 비어 있지 않으므로 우리는 전화의 종착역의 도움으로 스마트 의자의 개념 그래서 우리는이 비디오가 끝날 때까지 우리를 이해함으로써 시작했습니다 정확히 무엇입니까 그리고 우리는 다음 인터넷의 진화를 봐 우리는 IOT 아키텍처를 살펴본 후 다른 IOT를 살펴 봅니다 우리가 우리의 라즈베리 파이와 모션 닷 P UI 코드를 이해했습니다 의자에서 발견 된 UI 코드는 비어 있습니다

비디오를 좋아하길 바래서 고맙다 당신