빅 데이터 분석: Hive, Spark SQL, DataFrames 및 GraphFrames

상품 설명

엄청난 양의 데이터로 작업하는 것은 의심할 여지 없이 어렵지만 산을 옮기려면 수많은 작은 돌을 다루어야 합니다. 그러나 왜 긴장합니까? Mapreduce 및 Spark를 사용하면 이 문제를 부분적으로 해결할 수 있으므로 높은 수준의 도구를 위한 공간을 남겨둘 수 있습니다. 빅 데이터 워크플로우를 생산적이고 효율적으로 만들기 위해 고군분투하지 말고 당사에서 제공하는 도구를 활용하십시오.

이 과정은 다음 방법을 알려줍니다.
– Hive, Spark SQL 및 Spark DataFframes를 사용하여 데이터를 효율적으로 저장합니다.
– 소셜 그래프 또는 네트워크와 같은 큰 그래프로 작업합니다.
– 최대 성능을 위해 Spark 애플리케이션을 최적화합니다.

정확히, 당신은 다음에 대한 지식을 습득하게 될 것입니다:
– Hive 및 Spark SQL 쿼리 작성 및 실행
– 쿼리가 실제 실행 프리미티브(MapReduce 작업 또는 Spark 변환)로 변환되는 방식을 추론합니다.
– Hive에서 데이터를 구성하여 디스크 공간 사용 및 실행 시간을 최적화합니다.
– Spark DataFrames 구성 및 이를 사용하여 임시 분석 작업을 쉽게 작성
– Spark GraphFrames로 큰 그래프 처리
– Spark 애플리케이션 성능 디버깅, 프로파일링 및 최적화.

아직도 의심스럽나요? 이것 좀 봐. 이 과정을 수강하여 데이터 닌자가 되십시오!

특별히 감사함:
– MIPT APT 부서의 Mikhail Roytberg 교수는 프로젝트의 초기 검토자이자 BigData 팀 절반의 감독자이자 멘토였습니다. 그는 이 쇼를 진행하는 데 도움을 준 사람이었습니다.
– 2008년부터 MapReduce, Hadoop 및 친구들을 가르치고 있는 Oleg Sukhoroslov(박사, IITP RAS 선임 연구원). 현재 그는 인프라 팀을 이끌고 있습니다.
– Oleg Ivchenko(MIPT APT 부서 박사 과정 학생), Pavel Akhtyamov(MIPT APT 부서 석사 과정 학생) 및 Vladimir Kuznetsov(PG Demidov Yaroslavl State University 조교), 이 과정의 실제 과제.
– Asya Roitberg, Eugene Baulin, Marina Sudarikova. 이 사람들은 여러분의 학습 경험을 생산적이고 매끄럽고 흥미롭게 만들기 위해 밤낮으로 이 과정을 돌보기 위해 잠을 자지 않습니다.