[Airflow] 01. Airflow 소개

 

 

01. Airflow 소개

- 파이썬을 이용해 워크플로우를 만들고 관리할 수 있는 오픈소스 기반 워크프로우 관리 도구

- 워크플로우를 DAG을 사용하여 정의, 관리하는 프로그램

- 자유도가 크고, 확장성이 좋음

 

02. Airflow 특징

 

- 파이썬으로 제작된 도구, 이용자가 워크플로우 생성시에도 파이썬으로 구현해야 함

- 하나의 워크플로우는 DAG(Directed Acyclic Graph)이라고 부르며 DAG 안에는 1개 이상의 Task가 존재

- Task간 선후행 연결이 가능하되 순환되지 않고 방향성을 가짐(=DAG)

- Cron 기반의 스케줄링

- 모니터링 및 실패 작업에 대한 재실행 기능이 간편

 

03. Airflow 장점

- 파이썬에 익숙하다면 러닝 커브 빠르게 극복 가능

- 대규모 워크플로우 환경에서 부하 증가시 수평적 확장 간으한 Kubenetes 등 아키텍처 지원

- 파이썬에서 지원되는 라이브러리를 활용하여 다양한 도구 컨트롤 가능(GCP, AWS 등 대다수 클라우드에서 제공하는 서비스)

- Airflow에서 제공하는 파이썬 소스 기반으로 원하는 작업을 위한 커스터마이징 가능(오퍼레이터, Hook, 센서 등)

 

04. Airflow 단점

- 실시간 워크플로우 관리에 적합하지 않음(최소 분 단위 실행)

- 워크플로우(DAG) 개수가 많아질 경우 모니터링이 쉽지 않음

- 워크플로우를 GUI 환경에서 만들지 않기에 파이썬에 익숙하지 않다면 다루기 쉽지 않음

- 협업 환경에서 프로그래밍 표준이 없으면 유지관리가 쉽지 않음

 

 

---

출처 : Airflow 마스터 클래스