2. Airflow Cluster (w/Docker) | Airflow HA(고가용성)을 위한 Clustering

앞 글에서 Airflow를 Docker Container로 실행시키는 방법을 배웠다. 

여기서는 Airflow의 Cluster를 배우겠다. 정확히는 Worker 들을 하나의 Cluster로 운영하는건데.

왜 이렇게 하냐? 

=> 하나의 서버에서 모든 작업을 실행 시킨다면 작업량이 많을 경우 서버 부하가 발생된다.

이를 해결하고자 작업을 실행하는 Worker들을 Clustering 하는 것이다.

 

 

아래 그림은 Airflow에서 Worker들을 Clustering 하는 것이다.

Master와 Airflow-worker#N 는 모두 다른 서버(PC)이고 Airflow-worker#N의 dockerfile에 Master PC의 정보를 명시해 연결해보겠다.

단, 이렇게 구성을 직접 해보니.. Airflow-worker#N들이 같은 DAGs를 구성해야 Master로부터 작업을 할당 받아 정상적으로 동작한다..!!

 

#목차

1. Airflow Master 작업

2. Airflow-worker#N 작업

3. 최종 

 

[1] Airflow Master 작업

2. Airflow-worker#N 작업

3. 최종