터칭 데이터

Contents 1. 실시간 데이터 처리 소개 2. Udemy 데이터 시스템 발전 여정 소개 3. Kafka 소개 4. Kafka 기본 프로그래밍 5. Spark Streaming 소개 6. Spark Streaming + Kafka 프로그래밍 7. 마무리 Contents 1. 구글이 데이터 분야에 끼친 영향 2. 데이터 처리의 발전 단계 3. 실시간 데이터 종류와 사용 사례 4. 실시간 데이터 처리 챌린지 데이터 처리의 발전 단계 빅데이터 처리가 배치 중심에서 어떻게 실시간으로 발전했는지 살펴보자 배치 처리 주기적으로 데이터를 한 곳에서 다른 곳으로 이동하거나 처리 여기서의 주기는 보통 daily나 hourly 더 짧다면 분 단위입니다. 다만 5분 이하의 경우라면 Airflow로도 버거워지기 시작합니다..

Contents 1. 실시간 데이터 처리 소개 2. Udemy 데이터 시스템 발전 여정 소개 3. Kafka 소개 4. Kafka 기본 프로그래밍 5. Spark Streaming 소개 6. Spark Streaming + Kafka 프로그래밍 7. 마무리 Contents 1. 구글이 데이터 분야에 끼친 영향 2. 데이터 처리의 발전 단계 3. 실시간 데이터 종류와 사용 사례 4. 실시간 데이터 처리 챌린지 데이터 처리의 발전 단계 빅데이터 처리가 배치 중심에서 어떻게 실시간으로 발전했는지 살펴보자 데이터 처리의 일반적인 단계 데이터 수집 (Data Collection) 데이터 저장 (Data Storage) 데이터 처리 (Data Processing) 이 과정에서 서비스 효율을 높이거나 의사결정을 더 ..

Contents 1. 실시간 데이터 처리 소개 2. Udemy 데이터 시스템 발전 여정 소개 3. Kafka 소개 4. Kafka 기본 프로그래밍 5. Spark Streaming 소개 6. Spark Streaming + Kafka 프로그래밍 7. 마무리 Contents 1. 구글이 데이터 분야에 끼친 영향 2. 데이터 처리의 발전 단계 3. 실시간 데이터 종류와 사용 사례 4. 실시간 데이터 처리 챌린지 구글이 데이터 분야에 끼친 영향 구글이 데이터 분야에 끼친 영향은 하둡등을 통한 배치 프로세싱부터 시작해서 텐서플로우, K8s 등등 이루말할 수 없다 구글 검색 엔진의 등장 (1) 1995년 스탠포드 대학에서 박사과정으로 있던 래리 페이지와 세르게이 브린이 1998년에 발표한 웹 검색 서비스 그 전까..

스트리밍 데이터 처리 소개 Kafka와 Spark Streaming 기반으로 실시간 데이터를 처리해보자 Contents 1. 실시간 데이터 처리 소개 2. Udemy 데이터 시스템 발전 여정 소개 3. Kafka 소개 4. Kafka 기본 프로그래밍 5. Spark Streaming 소개 6. Spark Streaming + Kafka 프로그래밍 7. 마무리