[MacOS] 개발환경 구성 - m1에 Airflow 설치하기

 

[설치 환경]
Mac OS M1
Docker version 25.0.3

 

 

 

01. docker-compose.yaml 파일을 fetch 받기

airflow docker install 검색

 

도커로 airflow를 설치하는 가이드 문서 

https://airflow.apache.org/docs/apache-airflow/stable/howto/docker-compose/index.html

 

docker compose는 한 개 이상의 컨테이너를 다루게 될 때

컨테이너에 대한 설정 내용을 docker-compose.yaml 스크립트 하나로 관리한다. 

 

docker-compose.yaml 파일을 fetch 받는다.

curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.8.3/docker-compose.yaml'

02. Airflow 사용자 권한 설정하기

디렉토리 만들기 

mkdir -p ./dags ./logs ./plugins ./config

mkdir 명령으로 dags, logs, plugins, config 디렉토리를 만들어준다. 

 

 

echo는 print와 같이 화면에 출력하는 명령어이다. 

"--" > .env는 출력 내용을 env 파일 안에 넣으라는 의미이다. 

echo -e "AIRFLOW_UID=$(id -u)" > .env

 

명령어를 실행하고 파일 목록을 다시 조회하면 .env 파일이 생성된 것을 볼 수 있다. 

.env 파일 내용을 보면 AIRFLOW_UID가 적혀있다. 

 

03. Database 초기화

모든 운영 체제에서 데이터베이스 마이그레이션을 실행하고 첫 번째 사용자 계정을 만들어야 한다. 

아래 명령어로 airflow 서비스를 설치한다. 

docker compose up airflow-init

에러 없이 설치 완료

04. Airflow 실행

airflow를 실행시켜 준다. 

docker compose up

 

 

서비스가 잘 올라왔는지 확인하기 위해서 두 번째 터미널을 열고 작업을 해야 한다. 

현재 열려있는 터미널을 닫으면 서비스가 종료된다.

 

두번재 터미널을 열고 아래 명령어를 입력하여 airflow를 띄우는데 필요한 컨테이너 리스트를 확인한다.  

docker ps

airflow를 띄우는데 scheduler, worker, triggerer, webserver, redis, postgres

총 6개의 컨테이너가 올라온 것을 볼 수 있다.

 

airflow 이미지를 통해 올라온 컨테이너 : scheduler, worker, triggerer, webserver

redis 이미지를 통해 올라온 컨테이너 : redis

postgres 이미지를 통해 올라온 컨테이너 : postgres

 

도커에서 사용하는 이미지의 이름은 [저장소이름]/[이미지이름]:[태그]로 구성된다. 

저장소 이름은 이미지가 저장된 장소이다. 

이미지 이름은 해당 이미지가 어떤 역할인지를 나타낸다. 

태그는 이미지의 버전을 나타낸다. 생략하면 latest로 인식한다. 

 

05. Airflow 서비스 접속

http://localhost:8080/ 으로 접속한다. 

 

Uasername : airflow

Password : airflow

 

접속하면 샘플로 만들어져 올라와있는 DAG를 볼 수 있다. 

 

example_bash_operator에 들어가 본다. 

Grid 탭은 수행이력을 보여주는 탭이다. 

 

Graph 탭에서는 해당 DAG을 구성하고 있는 Task들을 보여준다. 

Task들의 연결관계와 각 Task들의 상태를 확인할 수 있다. 

 

Code 탭은 해당 DAG을 구성하고 있는 파이썬 코드를 볼 수 있다.