터칭 데이터 2024. 1. 22. 12:02

 

 

 

요약

 

Spark 파일 포맷으로 가장 최적은 PARQUET

 

Spark Job 최적화를 위해서는 Execution Plan 확인

 

Bucketing과 Partitioning을 통해 입력 데이터 구조를 최적화