실시간 데이터 종류와 사용 사례

 

 

Contents

1. 실시간 데이터 처리 소개
2. Udemy 데이터 시스템 발전 여정 소개
3. Kafka 소개
4. Kafka 기본 프로그래밍
5. Spark Streaming 소개
6. Spark Streaming + Kafka 프로그래밍
7. 마무리

 

 

Contents

1. 구글이 데이터 분야에 끼친 영향
2. 데이터 처리의 발전 단계
3. 실시간 데이터 종류와 사용 사례
4. 실시간 데이터 처리 챌린지

 

 

 

 

 

 

 

실시간 데이터 종류와 사용 사례

실시간으로 발생하는 데이터로 어떤 것들이 있는지 알아보자

 

 

 

 

 

 

 

Events are everywhere - Online Service

 

온갖 종류의 Funnel Data

Product Impressions, Clicks (Click Stream), Purchase, …
User Registration (회원등록 버튼 클릭 => 상세정보 입력 => … => 등록 버튼)

 

Page Views and Performance Data

페이지별로 렌더링 시간을 기록하면 나중에 문제 발생시 원인 파악이 쉬워짐
    - 이를 디바이스 타입에 따라 기록 (데스크탑, 모바일, …)
또한 페이지별로 에러발생시 에러 이벤트 등록

 

사용자 등록, 사용자 로그인, 방문자 발생

 

이런 사용자 행동 데이터들의 데이터 모델 정의와 수집이 중요해짐

데이터가 제대로 수집된 후에 저장과 소비도 가능
그러다보니 이벤트 데이터 수집만 전담하는 팀도 생기기 시작함

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Events are everywhere - Retail Business

 

재고 업데이트:

재고 추가 또는 품절과 같은 재고 수준의 변화를 반영하는 이벤트

 

주문 이벤트:

주문 배치, 주문 상태 업데이트 및 주문 이행을 나타내는 이벤트

 

배송 이벤트:

배송된 상품의 상태 및 위치 업데이트를 기록하는 이벤트

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Events are everywhere - IoT (Internet of Things)

 

센서 판독값

IoT 장치에서 수집한 온도, 습도, 압력 등 측정값 기록 이벤트

 

장치 상태 업데이트

온라인/오프라인 상태 또는 배터리 잔량과 같은 장치 상태 이벤트

 

알람 이벤트

동작 감지나 임계값 초과하는 등 특정 조건에 의해 트리거되는 이벤트

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Event 데이터 처리를 필요로 하는 유스 케이스

 

Real-time Reporting

A/B Test Analytics
Marketing Campaign Dashboard
Infrastructure Monitoring

 

Real-time Alerting

Fraud Detection
Real-time Bidding
Remote Patient Monitoring

 

Real-time Prediction (ML Model)

Personalized Recommendation