Airflow
Airflow 설치 개요
터칭 데이터
2023. 12. 12. 13:25
Airflow 설치 방법
직접 설치하고 운영
우리가 사용할 방법. 뒤에서 설명
클라우드 사용
AWS: MWAA (Managed Workflows for Apache Airflow) 사용
구글 클라우드: Cloud Composer 사용
Microsoft Azure: Azure Data Factory에 Airflow DAGs 기능 존재
클라우드는 학습과 작은 프로젝트에는 부담, 기본적으로 3대의 서버를 운영하기 때문에 비용이 높음
직접 설치 방법
두 가지 방법을 보여드리겠습니다.
1. 개인 PC에 도커 설치 후 Airflow를 이미지로 다운 후 컨테이너로 실행
2. AWS EC2 등의 리눅스 서버에 직접 설치
(우분투 20.04 사용)
위의 2가지 방법을 모두 알려드리지만 앞으로의 Airflow 실습은 도커에서 진행합니다.
물론 2번째 방법(AWS EC2 등)을 사용하셔도 실습에는 전혀 문제가 없습니다.