터칭 데이터

나는 어떤 사람이지? 일기를 써보며

터칭 데이터 — Wed, 23 Jul 2025 23:58:43 +0900

일기를 써보며 느낀 점

너 자신을 알라

너 자신을 알라
- 소크라테스

유명인의 짧은 명언들이 모두 그렇듯 해석은 제각각이겠지만

나 역시 내 나름대로의 해석을 내놓겠다.

나 자신을 아는 것은 매우 어렵다.. 그래서 그만큼 가치가 있다.. 그래서 이를 짚어낸 소크라테스의 저 말이 명언이 된 것이다!

사람들은 "저 사람은 어떤 사람인가요?" 라는 질문에는 비교적 어렵지 않게 이야기 한다.
하지만 "당신은 어떤 사람인가요?" 라는 질문에는 쉽게 답변하지 못한다.

일기라.. 막상 일기를 적다보면 '하루에 있었던 일을 기록하는 것'이라는 사전적 정의와는 큰 차이가 있음을 깨닫게 된다.

일상에서의 사건과 사물 하나하나에 대해 나 자신이 어떤 생각을 갖고 있고 어떻게 느꼈는지 반추의 연속이다 보니

상술했듯 '나는 어떤 사람이지?'라는 근원적인 질문의 연속과 다를 것이 없다.

즉, 의외로 타건보다는 생각을 자주해야 한다. 이런 면에서는 개발과 굉장히 비슷하다.

일기 쓰기의 가치?

1. 생각해보기

2. 나 자신에 대해 알기

3. 출력하기

일기 쓰기는 위의 세 가지를 훈련할 수 있다는 점에 있어 크게 빛을 발한다.

첫 번째, 일상의 모든 것이 사고의 매개체가 된다.

하루 대부분을 차지하는 업무와 생계를 타성에 젖어 흘려 보내고

그나마 얼마 되지 않는 여가 시간은 스마트폰에 빠져 보내던 이전과 달리

일기를 쓴 이후에는 모든 것에 대해 자주적으로 생각하는 습관이 생긴다.

'A는 좋다. B는 싫다'라는 피동적 감각 수준이 아닌

'A와 B는 이런 비슷한 점이 있구나. 반면에 차이점은 무엇일까? C와는 어떤 관계가 있지?'의

능동적 사고의 기회를 더 자주 가질 수 있다.

두 번째, 지기(知己)로 생산성을 향상시킨다.

나 자신에 대해 아는 것이 왜 그렇게 중요할까?

소크라테스처럼 손자병법의 손자 역시 지피지기(知彼)라며 자신에 대해 알 것을 역설했다.

지피지기라는 사자성어 뒤에 늘 따르는 백전불태(百戰不殆, 백번 싸워도 위태롭지 않다)가 뜻하는 바와 같이

자신에 대해 잘 알수록 내가 컨트롤 할 수 없는 외생변수들에 더 쉽게 대처할 수 있기 때문이다.

일기를 쓸수록 나를 잘 알게되고 나를 잘 알게될수록

아이디어 구상, 의사결정, 구현과 실행 등 삶에서의 모든 활동에 있어 신속함과 정확도가 올라간다.

세 번째, 출력의 과정으로서 기능한다.

공부는 입력과 출력으로 나뉜다.

인터넷, AI, 유튜브 등, 기술과 영상 매체의 등장으로 입력으로서의 공부거리는 폭증했지만

막상 이를 본인의 손이나 입으로 출력할 기회는 적은 것이 사실이다.

내가 배운 것을 출력하는 것이 '잘난 척 한다' 오해 받을까봐 혹은 '내가 그럴 자격이 있을까?' 부담감에 쉽지도 않다.

(특히 한국인이라면 더)

하지만 일기는 출력에 있어 치트키와 같다.

1. 일단 공개여부를 본인이 정할 수 있기에 부담이 적으며

2. 학술지나 토론과 달리 본인의 주관과 감상을 자유롭게 첨가할 수 있어 난이도가 낮다.

3. 또한 일기 작성 중 발생하는 비문, 문장 사이의 자연스러운 연결을 위한 글의 추가와 삭제 등이 잦은 빈도로 일어나 밀도가 높다.

일기를 쓰기 시작하며 깨달은 것과 어떤 의미들이 있는지 적어 보았다.

유익한 모든 것이 그렇듯 실천하기에는 어려우니 빨리 습관화 해야겠다.

이사 2

터칭 데이터 — Tue, 22 Jul 2025 15:55:12 +0900

지난 일요일 이사짐 일부를 먼저 옮긴 뒤 오늘 나머지 이사짐을 마저 옮겼다.

아침 8시에 일어나 15시까지 쉬지 않고 이사를 마무리했다.

짐 자체는 많지 않았고 미리 잘 분리 및 포장해 둔 덕에 짐을 옮기는 것 자체는 힘들지 않았다.

짐을 옮겨주신 용달 업체 아저씨께서 이렇게 짐을 미리 잘 정리해둔 분은 처음봤다고 하셔서 기분이 좋았다. ㅋㅋ..

문제는 침대였다. 겉보기에는 합판 몇개가 고작인 침대 프레임들의 무게 하나하나가 만만치 않아 굉장히 고생했다.

더군다나 재조립 역시 문제였는데 거의 1시간 가까이를 조립했다 분해했다를 반복하며 겨우 마무리했다.

조립 순서는 맞았지만 묘하게 볼트의 소위 '아귀'가 맞지 않는 상황들이 있었다.

아마 옮기는 과정에서 프레임이 조금 휘었던 것인지.. 지금도 의문이다.

다행히 비도 오지 않고 요근래 기준으로는 조금 선선해서 다행이었다.

모두에게 그렇듯 언제나 이사는 힘든 일이다..

이사 다닐 일 없이 내 명의의 좋은 집에서 살기 위해

이사를 마무리한 직후 바로 앉아 일기를 쓴 뒤

오늘도 나는 개발을 하고 공부를 한다.

이사

터칭 데이터 — Sun, 20 Jul 2025 21:23:00 +0900

그동안 너무 기술 스택과 관련된 글들만 써왔다.비록 블로그 이름이 터칭 데이터이기는 하나

다른 개발자 분들의 블로그에 비하면 너무 삭막한 것 같아 가끔 일상을 기록해 보려 한다.

오늘 새로운 곳으로 이사를 왔다.

내년 3월로 입주 예정인 곳에 들어가기까지 남은 약 8개월 정도 남은 기간 동안

나 자신을 다잡고 새로운 각오로 임하기 위해 갑작스레 이사를 결정했다.

컴퓨터 등 당장 필요한 짐들만 일부 가져왔다.

나머지 가구는 다음 주 화요일 가져오기로 했다.

쉽게 말해 이사를 두 번 하는 셈이다..

이사를 온 후 첫 알고리즘 문제.

골드 5 난이도의 DP 문제였는데 피곤해서 였는지 새로운 환경에 덜 적응된 것인지 평소보다 시간이 조금 더 걸렸다.

이사글을 첫 일상글로 적다니..

블로그에 일상을 적으시는 분들은 어떤 글을 처음으로 올렸을까 문득 궁금해진다.

아마 이사로 첫 일상글을 적은 사람은 거의 없지 않았을까

매우 피곤하다.

17주차 - 1 [SparkML]

터칭 데이터 — Mon, 5 Feb 2024 18:43:18 +0900

Intro

기타기능 Intro와 Broadcast Variable

Accumulators

Speculative Execution

Resource Dynamic Allocation

Spark Scheduler

Driver Executor Memory

Driver Executor OOM

JVM Python

Cache & Presist

Cache & Persist

터칭 데이터 — Mon, 5 Feb 2024 14:25:37 +0900

Spark 고급과 Spark ML

Shuffling시 Skew 처리방식과 Spark ML에 대해 배워보자

1. 기타 기능/개념 살펴보기
2. Driver와 Executor 해부
3. 메모리 이슈 정리
4. JVM과 Python 간의 통신
5. Caching과 Persist
6. Dynamic Partition Pruning

Caching과 Persist

어느 데이터시스템이건 반복되어서 사용되는 데이터가 있다면 메모리에 두는 것이 좋은데

Spark에서 사용법에 대해 알아보자

Caching

1. Caching이란 무엇이며 왜 caching이 필요한가?
2. 어떻게 DataFrame을 caching하는가?
3. 언제 caching하고 언제 하지 말아야 하는가?
4. Caching을 취소하는 방법은?
5. Caching 포맷은?
6. Caching을 메모리에 할까? 디스크에 할까?

Caching이란 무엇이며 왜 caching이 필요한가?

자주 사용되는 데이터프레임을 메모리에 유지하여 처리속도 증가

● 단 그 데이터프레임이 정말 메모리에 있는지 확인 필요
● 어떤 경우에는 다시 계산하는 것이 빠를 수도 있음

단 메모리 소비를 늘리므로 불필요하게 모든 걸 캐싱할 필요는 없음

어떻게 DataFrame을 caching하는가? (1)

두 가지 방법이 존재

● cache()
● persist()

둘다 데이터프레임을 메모리/디스크/오프힙에 보존

● 모두 lazy execution - 필요해지기 전까지 캐싱하지 않음
● caching은 항상 파티션 단위로 메모리에 보존
▪ 하나의 파티션이 부분적으로 caching되지 않음

어떻게 DataFrame을 caching하는가? (2)

persist는 인자를 통해 세부 제어 가능

● useDisk = True
● useMemory = True
● useOffHeap = False
▪ off Heap 설정이 필요
● deserialized = False
▪ 메모리를 줄일지 아니면 CPU 계산을 줄일지? 후자++
▪ deserialized = True는 메모리에서만 가능
● replication = 1
▪ 몇 개의 복사본을 서로 다른 executor에 저장할지 결정

어떻게 DataFrame을 caching하는가? (3)

persist의 인자로 자주 사용되는 조합은 하나의 상수로 지정 가능

● DISK_ONLY
● MEMORY_ONLY
● MEMORY_AND_DISK
● MEMORY_ONLY_SER
● MEMORY_AND_DISK_SER
● OFF_HEAP
● MEMORY_ONLY_2
● MEMORY_ONLY_3

어떻게 DataFrame을 caching하는가? (4)

persist는 기본적으로 caching되는 데이터프레임을 메모리와 디스크에 보관하고 복제도 수행함

cache는 persist의 다음 버전

● disk=False
● memory=True
● offHeap=False
● deserialized=True
● replication=1

Spark SQL을 사용한 Caching

spark.sql("cache table table_name")

spark.sql("cache lazy table table_name")

spark.sql("uncache table table_name")

Caching을 취소하는 방법은?

DataFrame.unpersist (LRU - Least Recently Used)

spark.sql("uncache table table_name")

spark.catalog.isCached("table_name")

spark.catalog.clearCache()

Caching 실습

Caching 여부 확인

● Spark Web UI의 Storage 탭 확인

Caching 관련 Best Practices

캐싱된 데이터 프레임이 재사용되는 것을 분명하게 하기

● cachedDF = df.cache()
● cachedDF.select(…)

컬럼이 많다면 정말 필요한 컬럼만 캐싱

● cachedDF = df.select(col1, col2, col3, col4).cache()

불필요할 때 uncache

때로는 매번 새로 데이터프레임을 계산하는 것이 캐싱보다 빠를 수 있음

● 이는 큰 데이터셋이 Parquet와 같은 포맷으로 존재하는 경우
● 캐싱결과가

❖ 소수의 너무 커서데이터프레임만 메모리에만 있을 수캐싱없는 경우
❖ 큰 데이터프레임의 캐싱은 하지 말것
❖ 캐싱을 너무 믿지 말것

JVM Python

터칭 데이터 — Mon, 5 Feb 2024 14:22:12 +0900

Spark 고급과 Spark ML

Shuffling시 Skew 처리방식과 Spark ML에 대해 배워보자

1. 기타 기능/개념 살펴보기
2. Driver와 Executor 해부
3. 메모리 이슈 정리
4. JVM과 Python 간의 통신
5. Caching과 Persist
6. Dynamic Partition Pruning

JVM과 Python 간의 통신

JVM과 Python 프로세스들간의 통신에 대해서 알아보자

PySpark Driver

Python 프로세스 + JVM 프로세스

PySpark Memory (1)

Spark은 JVM Application이지만 PySpark은 Python 프로세스

● JVM에서 바로 동작하지 못함 따라서 JVM 메모리를 사용할 수 없음

spark.executor.pyspark.memory (Python 프로세스)

spark.python.worker.memory (Py4J)

PySpark Memory (2)

spark.executor.pyspark.memory

● PySpark은 기본으로 overhead memory를 사용. 이 환경변수가 사용되면 PySpark이 사용할 수 있는 메모리는 이 환경변수의 값으로 고정됨
● 이는 사실 PySpark이 외부 파이썬 함수를 쓰는 경우에만 필요 (기본적으로는 세팅되지 않음)

spark.python.worker.memory

● 디폴트 값은 512MB (512m)
● JVM과 파이썬 프로세스간의 통신을 담당하는 Py4J가 사용할 수 있는 메모리의 양
● 이 크기를 넘어가면 디스크로 Spill 발생

● spark.executor.pyspark.memory는 파이썬 프로세스의 사용 메모리 크기 결정
● spark.python.worker.memory는 JVM에서 사용되는 파이썬 오브젝트들의 최대 메모리
결정

Spark과 Python간의 통신

Py4J: 파이썬과 JVM간의 데이터 교환을 통해 둘간의 연동을 도와주는 프레임웍

DataFrame/RDD 연산중에 파이썬 코드가 사용되면?

● 이는 별도의 파이썬 프로세스를 통해 실행되며 이 경우 파티션 데이터가 모두 넘어감

Spark과 UDF

Java나 Scala로 작성

Python으로 작성

Pandas Python으로 작성

● Vectorized UDFs
● PyArrow가 사용됨

Driver Executor OOM

터칭 데이터 — Mon, 5 Feb 2024 14:12:01 +0900

Spark 고급과 Spark ML

Shuffling시 Skew 처리방식과 Spark ML에 대해 배워보자

1. 기타 기능/개념 살펴보기
2. Driver와 Executor 해부
3. 메모리 이슈 정리
4. JVM과 Python 간의 통신
5. Caching과 Persist
6. Dynamic Partition Pruning

메모리 이슈 정리

Driver와 Executor에서 발생가능한 메모리 이슈들을 정리해보자

Spark 메모리 이슈 (OOM)

❖ Driver OOM

❖ Executor OOM

Driver OOM 케이스들

큰 데이터셋에 collect 실행

큰 데이터셋을 Broadcast JOIN

Python이나 R 등으로 작성된 코드

너무 많은 태스크들

Executor OOM 케이스들

너무 큰 executor.cores 값

● High Concurrency

Data Skew (Big Partition)

Driver Executor Memory

터칭 데이터 — Mon, 5 Feb 2024 14:06:33 +0900

Spark 고급과 Spark ML

Shuffling시 Skew 처리방식과 Spark ML에 대해 배워보자

1. 기타 기능/개념 살펴보기
2. Driver와 Executor 해부
3. 메모리 이슈 정리
4. JVM과 Python 간의 통신
5. Caching과 Persist
6. Dynamic Partition Pruning

Driver와 Executor 해부

Driver와 Executor의 리소스 사용에 대해 알아보자

Driver의 역할

Spark Application = (1 Driver) + (1+ Executor)

Driver는 다음 역할을 수행

● main 함수 실행하고 SparkSession/SparkContext를 생성
● 코드를 태스크로 변환하여 DAG 생성
● 이를 execution/logical/physical plan으로 변환
● 리소스 매니저의 도움을 받아 태스크들을 실행하고 관리
▪ task의 수가 너무 많아지면 driver 메모리 에러 발생
● 위의 정보들을 Web UI로 노출시킴 (4040 포트)

Driver 메모리 구성

spark.driver.memory = 4GB
spark.driver.cores = 4

spark.driver.memoryOverhead = 0.1
● max(spark.driver.memory의 10%, 384MB)

Executor 메모리 구성

메모리 구성 - Heap 메모리(8GB)만 보자

메모리 구성 - User Memory를 보자

메모리 구성 - Spark Memory를 보자

Executor CPU

Executor Resource

Executor Memory Pool Management

Static Memory Management

● Spark 1.6전에는 슬롯들끼리 공평하게 나눠 가짐

지금은 Unified Memory Manager를 사용함

● 동작중인 태스크 대상으로 Fair Allocation이 기본 동작
▪ 즉 실행중인 태스크가 모든 메모리를 가져가는 구조임

Unified Memory Management

Executor 메모리가 부족해지기 시작하면 어떤 일이 생길까?

● 메모리가 부족해지면 Storage Memory Pool에 남는 메모리를 사용
● spark.memory.storageFraction로 지정된 비율은 시작 비율
▪ 하지만 양쪽의 메모리가 차기 시작하면 이 경계선은 지켜지면서 eviction 발생

반대로 Storage 메모리가 부족하기 시작한다면?

● DataFrame 캐싱을 하기위한 메모리가 부족해지면 Executor Memory Pool에 남는 메모리 사용
● 하지만 결국 spark.memory.storageFraction 이상은 넘어가지지 않음

더 이상 쓸 메모리가 없다면?

● 데이터를 메모리에서 디스크로 옮김 (disk spill)
● 디스크로 spill을 할 수 없다면 OOM (Out of Memory) 발생

Spark Executor Memory Configuration (1)

Spark Executor Memory Configuration (2)

결국 하나의 Executor에 할당되는 메모리는 아래와 같음:
spark.executor.memoryOverhead + spark.executor.memory + spark.memory.offHeap.size +
spark.executor.pyspark.memory (+ spark.python.worker.memory)

What is Off Heap Memory?

Spark은 On Heap 메모리에서 가장 잘 동작함

● 하지만 JVM Heap은 Garbage collection의 대상이 됨
● JVM Heap의 크기가 클수록 Garbe collection으로 인한 비용 증가
● 이 때 같이 사용할 수 있는 것이 JVM 밖에 있는 메모리

▪ Overhead 메모리
▪ Off Heap 메모리
• spark.memory.offHeap.enabled를 true로 설정
• spark.memory.offHeap.size에 원하는 크기 지정

Spark 3.x의 Off heap memory 정리

Spark 3.x는 Off Heap memory 작업에 최적화

● JVM 없이 직접 메모리 관리 가능 (프로젝트 텅스턴)

Spark 3.x는 Off Heap 메모리를 DataFrame용으로 사용

● GC의 발생을 줄일 수 있음

즉 Off Heap 메모리의 크기는

● spark.executor.memoryOverhead + spark.offHeap.size
● spark.offHeap.size를 사용해서 executor memory의 증가없이 off heap 메모리 증가가 가능

Spark Scheduler

터칭 데이터 — Mon, 5 Feb 2024 13:40:26 +0900

Spark 고급과 Spark ML

Shuffling시 Skew 처리방식과 Spark ML에 대해 배워보자

1. Spark 기타 기능과 메모리 관리
2. Spark Shuffling 최적화
3. Spark Partition 학습
4. Spark ML 소개와 ML 모델 빌딩
5. ML Pipeline과 Tuning 소개와 실습

기타 기능/개념 살펴보기

자주 필요하지는 않지만 알아두면 좋은 기능들을 살펴보자

Spark Scheduler란?

하나의 Spark Application내의 잡들에 리소스를 나눠주는 정책

● Spark Application들간에 리소스를 나눠주는 방식은 리소스 매니저에게 달려있음

다음 2 가지가 존재

● “FIFO” (기본)
▪ 리소스를 처음 요청한 Job에게 리소스 우선 순위가 감
● “FAIR”
▪ 라운드로빈 방식으로 모든 잡에게 고르게 리소스를 분배하는 방식
▪ 이 안에서 풀(Pool)이란 형태로 리소스를 나눠서 우선순위 고려한 형태로 사용 가능
• 풀안에서 리소스 분배도 FAIR 혹은 FIFO로 지정 가능

Scheduler를 활용한 병렬성 증대

병렬성 증대 -> Thread 활용이 필요

● 이는 FAIR 모드의 스케줄러일 경우 더 효과적

스케줄러 데모 (스레드 사용)

Resource Dynamic Allocation

터칭 데이터 — Mon, 5 Feb 2024 13:35:51 +0900

Spark 고급과 Spark ML

Shuffling시 Skew 처리방식과 Spark ML에 대해 배워보자

1. Spark 기타 기능과 메모리 관리
2. Spark Shuffling 최적화
3. Spark Partition 학습
4. Spark ML 소개와 ML 모델 빌딩
5. ML Pipeline과 Tuning 소개와 실습

기타 기능/개념 살펴보기

자주 필요하지는 않지만 알아두면 좋은 기능들을 살펴보자

Spark의 리소스 할당 (스케줄링)

Spark Application들간의 리소스 할당

● 기반이 되는 리소스 매니저가 결정
▪ YARN은 세 가지 방식 지원: FIFO, FAIR, CAPACITY
● 한번 리소스를 할당받으면 해당 리소스를 끝까지 들고 가는 것이 기본

하나의 Spark Application안에서 잡들간의 리소스 할당

● FIFO 형태로 처음 잡이 필요한대로 리소스를 받아서 쓰는 것이 기본

Spark Application의 리소스 요구/릴리스 방식

Static Allocation (기본 동작)

● Spark Application은 리소스 매니저로부터 (YARN) 받은 리소스를 보통 끝까지 들고감
● 이는 리소스 사용률에 악영향을 줄 가능성이 높음

Dynamic Allocation

● Spark Application이 상황에 따라 executor를 릴리스하기도 하고 요구하기도 함
● 다수의 Spark Application들이 하나의 리소스 매니저를 공유한다면 활성화하는 것이 좋음

spark-submit —num-executors 100 —executor-cores 4 —executor-memory 32G

Static Allocation vs. Dynamic Allocation

spark-submit —num-executors 100 —executor-cores 4 —executor-memory 32G

Dynamic Resource Allocation

Dynamic Resource Allocation은 아래 환경변수들로 제어

spark.dynamicAllocation.enabled = true
spark.dynamicAllocation.shuffleTracking.enabled = true
spark.dynamicAllocation.executorIdleTimeout = 60s (릴리스 타이밍 결정)
spark.dynamicAllocation.schedulerBacklogTimeout = 1s (요청 타이밍 결정)

spark.dynamicAllocation.minExecutors
spark.dynamicAllocation.maxExecutors
spark.dynamicAllocation.initialExecutors
spark.dynamicAllocation.executorAllocationRatio

https://spark.apache.org/docs/latest/configuration.html#dynamic-allocation

터칭 데이터

나는 어떤 사람이지? 일기를 써보며

일기를 써보며 느낀 점

너 자신을 알라

일기 쓰기의 가치?

이사 2

이사

17주차 - 1 [SparkML]

Cache & Persist

Spark 고급과 Spark ML

Contents

Caching과 Persist

Caching

Caching이란 무엇이며 왜 caching이 필요한가?

자주 사용되는 데이터프레임을 메모리에 유지하여 처리속도 증가

단 메모리 소비를 늘리므로 불필요하게 모든 걸 캐싱할 필요는 없음

어떻게 DataFrame을 caching하는가? (1)

두 가지 방법이 존재

둘다 데이터프레임을 메모리/디스크/오프힙에 보존

어떻게 DataFrame을 caching하는가? (2)

persist는 인자를 통해 세부 제어 가능

어떻게 DataFrame을 caching하는가? (3)

persist의 인자로 자주 사용되는 조합은 하나의 상수로 지정 가능

어떻게 DataFrame을 caching하는가? (4)

persist는 기본적으로 caching되는 데이터프레임을 메모리와 디스크에 보관하고 복제도 수행함

cache는 persist의 다음 버전

Spark SQL을 사용한 Caching

spark.sql("cache table table_name")

spark.sql("cache lazy table table_name")

spark.sql("uncache table table_name")

Caching을 취소하는 방법은?

DataFrame.unpersist (LRU - Least Recently Used)

spark.sql("uncache table table_name")

spark.catalog.isCached("table_name")

spark.catalog.clearCache()

Caching 실습

Caching 여부 확인

Caching 관련 Best Practices

캐싱된 데이터 프레임이 재사용되는 것을 분명하게 하기

컬럼이 많다면 정말 필요한 컬럼만 캐싱

불필요할 때 uncache

때로는 매번 새로 데이터프레임을 계산하는 것이 캐싱보다 빠를 수 있음

JVM Python

Spark 고급과 Spark ML

Contents

JVM과 Python 간의 통신

PySpark Driver

Python 프로세스 + JVM 프로세스

PySpark Memory (1)

Spark은 JVM Application이지만 PySpark은 Python 프로세스

spark.executor.pyspark.memory (Python 프로세스)

spark.python.worker.memory (Py4J)

PySpark Memory (2)

spark.executor.pyspark.memory

spark.python.worker.memory

Spark과 Python간의 통신

Py4J: 파이썬과 JVM간의 데이터 교환을 통해 둘간의 연동을 도와주는 프레임웍

DataFrame/RDD 연산중에 파이썬 코드가 사용되면?

Spark과 UDF

Java나 Scala로 작성

Python으로 작성

Pandas Python으로 작성

Driver Executor OOM

Spark 고급과 Spark ML

Contents

메모리 이슈 정리

Spark 메모리 이슈 (OOM)

❖ Driver OOM

❖ Executor OOM

Driver OOM 케이스들

큰 데이터셋에 collect 실행

큰 데이터셋을 Broadcast JOIN

Python이나 R 등으로 작성된 코드

너무 많은 태스크들

Executor OOM 케이스들

너무 큰 executor.cores 값

Data Skew (Big Partition)

Driver Executor Memory

Spark 고급과 Spark ML

Contents