[Airflow] Airflow Docker Compose 설치

airflow 설치

• Docker Compose 다운로드
  • airflow-scheduler– 스케줄러는 모든 작업과 DAG를 모니터링한 다음 종속성이 완료되면 작업 인스턴스를 트리거합니다.
  • airflow-webserver– 웹서버는 http://localhost:8080. 에서 사용 가능합니다.
  • airflow-worker– 스케줄러가 지정한 작업을 실행하는 작업자.
  • airflow-triggerer– 트리거는 연기 가능한 작업에 대한 이벤트 루프를 실행합니다.
  • airflow-init– 초기화 서비스.
  • postgres– 데이터베이스.
  • redis– Redis – 스케줄러에서 워커로 메시지를 전달하는 브로커.

curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.10.5/docker-compose.yaml'

• Airflow 사용자 설정

mkdir -p ./dags ./logs ./plugins ./config
echo -e "AIRFLOW_UID=$(id -u)" > .env

• Docker Compose 환경변수

AIRFLOW_UID=50000

• 데이터베이스 초기화

docker compose up airflow-init

• Docker Compose 실행

docker compose up