Local Standalone REP 데모 - 맥(Mac)

 

 

Contents

 

1. Spark 데이터 처리

 

2. Spark 데이터 구조: RDD, DataFrame, Dataset

 

3. 프로그램 구조

 

4. 개발/실습 환경 소개

 

5. Spark DataFrame 실습

 

 

 

 

 

 

 

 

 

개발/실습 환경 소개

Spark 개발 환경에 대해 알아보자

 

 

 

 

 

 

 

 

 

 

Mac에서 Local Standalone Spark 사용

 

Mac Catalina 혹은 이후 버전 기준

Z쉘이 기본으로 사용됨 (그전에는 Bash 쉘)

 

자바 관련 설정

JDK8/11이 필요: 터미널에서 java -version 명령으로 체크
JAVA_HOME 환경변수를 Z쉘 시작 스크립트(~/.zshrc)에 등록
    - echo export "JAVA_HOME=\$(/usr/libexec/java_home)" >> ~/.zshrc

 

Spark 다운로드

 

세부 설치 방법은 Github 문서 참고

 

데모

 

 

 

 

 

 

 

 

 

 

 

 

Spark Web UI 예 (로컬 모드)