[MacOS] 개발환경 구성 - m1에 Airflow library 설치

 

 

[설치 환경]
Mac OS M1
Docker version 25.0.3
Airflow 2.8.3
Visual Studio Code 1.74.2
Python 3.8.10

 

 

파이썬으로 만들어진 Airflow의 DAG 개발을 하기 위해서는 다양한 클래스파일이 있는 Airflow 라이브러리가 필요하다. 

지난번에 만든 로컬 컴퓨터의 파이썬 가상환경(venv)에 라이브러리를 설치해준다. 

 

* pip install로 Airflow를 설치할 수 있지만 Docker로 설치한 이유

파이썬 Airflow 라이브러리 설치시 저사양의 아키텍처로 설치되고 여러 제약이 존재한다.

(한번에 1개의 task만 실행 가능, 메타DB를 저사양 DB인 SQLite를 기본적으로 사용)

 

01. git repository 생성하기 

github에 들어가서 레퍼지토리를 생성해준다.

 

이전에 만들었던 로컬 디렉토리 경로의 터미널에서 아래 명령어를 입력해 로컬 환경과 원격 환경의 레퍼지토리를 연결해준다. 

echo "# airflow" >> README.md
git init
git add README.md
git commit -m "first commit"
git branch -M main
git remote add origin https://github.com/[user]/airflow.git
git push -u origin main

 

로컬과 git 레퍼지토리를 연결하였다. 

 

02. Airflow 폴더에 git clone

git을 통해 Remote 환경에 있는 파일을 Local 환경으로 배포 해줘야 한다. 

airflow를 설치하면서 생성한 디렉토리에 git 레퍼지토리를 clone한다. 

03. PyPI 설치하기 

'airflow pip install' 검색

 

파이썬 가상환경에 airflow 라이브러리를 설치해야한다. 

 

Help > Show All Commands (command + shift + p) 창에 'interpreter' 검색해서

Python: Select Interpreter를 선택한다. 

 

'venv'가 붙은 인터프리터를 선택하여 이전에 만들었던 가상환경 안으로 들어간다. 

앞에 (venv)가 붙어있는 상태에서 설치 명령어를 입력한다. 

pip install "apache-airflow[celery]==2.8.3" --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-2.8.3/constraints-3.8.txt"

 

 

! 가상환경을 새로 생성해야 한다면

python -m venv venv 
cd venv
source ./bin/activate

 

설치완료!