Superset

터칭 데이터 2023. 12. 1. 16:11

Airbnb에서 시작된 오픈소스

Airflow를 만든 Maxim이란 사람이 같이 시작한 오픈소스

Maxim이 만든 모든 것은 파이썬 기반 (Airflow, Superset 모두)
- https://github.com/apache/superset
- 현재 Airbnb의 전사 대시보드가 Superset
Dropbox에서 데이터 Explore 대시보드로 사용

상용화 서비스도 시작됨
- Maxim이 직접 창업
- https://preset.io/
여기에 무료 어카운트 생성 후 실습

다양한 형태의 visualization와 손쉬운 인터페이스 지원

대시보드 공유 지원

엔터프라이즈 수준의 보안과 권한(특히 Role) 제어 기능 제공

SQLAlchemy와 연동
- 다양한 데이터베이스 지원

Druid.io와 연동하여 실시간 데이터의 시각화도 가능

API와 플러그인 아키텍처 제공으로 인한 확장성이 좋음

Flask와 React JS로 구성됨

기본으로 sqlite을 메타데이터 데이터베이스로 사용 (Airflow도 마찬가지)

(그런데 sqlite는 병렬성이 떨어져 실전성이 떨어져 MySQL이나 PostgreSQL로 교체해 사용)

Redis를 캐싱 레이어로 사용

SqlAlchemy가 백엔드 DB 접근에 사용됨

Database/Dataset (용어 혼동하지 않게 정확하게)
- Database == 관계형 데이터베이스 (예: Redshift)
- Dataset == 테이블

Dashboard/Chart
- Dashboard는 하나 이상의 chart로 구성

Database의 Dataset을 읽어와 Chart를 만들고 하나 이상의 Chart를 이용해 Dashboard를 구성

Dashboard 레벨에서 사용자 별로 Role을 이용해 권한을 줄 수 있습니다.(Group은 X)