Notice
Recent Posts
Recent Comments
Link
터칭 데이터
데이터 웨어하우스 본문
데이터 웨어하우스
데이터 웨어하우스: 회사에 필요한 모든 데이터를 저장
여전히 SQL 기반의 관계형 데이터베이스
프로덕션 데이터베이스와는 별도이어야 함
그래서 회사에 존재하는 모든 데이터를 데이터 웨어하우스에 복사해두고 사용합니다. 서비스 개발자들이 사용하는 프로덕션 데이터베이스와 분리되어있기 때문에 서비스에 지장이 없습니다.
OLAP (OnLine Analytical Processing) vs. OLTP (OnLine Transaction Processing)
AWS의 Redshift, Google Cloud의 Big Query, Snowflake 등이 대표적
고정비용 옵션 vs. 가변비용 옵션
데이터 웨어하우스는 고객이 아닌 내부 직원을 위한 데이터베이스
처리속도가 아닌 처리 데이터의 크기가 더 중요해짐
ETL(Extract, Transform, Load) 혹은 데이터 파이프라인
외부에 존재하는 데이터를 읽어다가 데이터 웨어하우스로 저장해주는 코드들이 필요해지는데 이를 ETL 혹은 데이터 파이프라인이라고 부름
데이터 인프라
보통은 데이터 웨어하우스 + ETL를 통틀어 데이터 인프라라고 부릅니다.
데이터 엔지니어가 관리합니다.


'SQL' 카테고리의 다른 글
Redshift SELECT (0) | 2023.11.14 |
---|---|
Redshift Cluster 생성 & Colab에 연결 (0) | 2023.11.14 |
Redshift: Scalable SQL 엔진 (0) | 2023.11.12 |
클라우드와 AWS (0) | 2023.11.12 |
관계형 데이터베이스 (Relational Database Management System) (0) | 2023.11.12 |