yoncho`s blog

앞 글에서 Airflow를 Docker Container로 실행시키는 방법을 배웠다. 여기서는 Airflow의 Cluster를 배우겠다. 정확히는 Worker 들을 하나의 Cluster로 운영하는건데.왜 이렇게 하냐? => 하나의 서버에서 모든 작업을 실행 시킨다면 작업량이 많을 경우 서버 부하가 발생된다.이를 해결하고자 작업을 실행하는 Worker들을 Clustering 하는 것이다.  아래 그림은 Airflow에서 Worker들을 Clustering 하는 것이다.Master와 Airflow-worker#N 는 모두 다른 서버(PC)이고 Airflow-worker#N의 dockerfile에 Master PC의 정보를 명시해 연결해보겠다.단, 이렇게 구성을 직접 해보니.. Airflow-worker#N들..

앞 글의 내용처럼 Airflow는 Workflow 관리 툴이다 !! python 기반의 DAGs을 Scheduling & Monitoring 가능하며 Operator 종류도 다양해 ssh 접속, python 함수, shell 명령어 등의 동작 수행이 가능하다! Airflow 구성을 위해선 가상 환경(venv, linux계열)이 필요하고특히, 복잡한 Airflow 구성을 언제든 빠르게 타 PC로 이식할 수 있게 Docker Image와 Docker Compose 파일로 구성할 수 있다. 본 글에서 Window PC 환경에서 WSL에 Ubuntu-18.04에 Docker로 Airflow를 구동시켜보겠다.  #목차1. 환경 및 필요 파일2. Local WSL(ubuntu-18.04) port forwardi..

1. Airflow란?초기 airbnb(Airfbnb) 엔지니어링 팀에서 개발한 워크플로우 오픈 소스 플랫폼이다. 추후 apache로 넘어갔다.*워크플로우 : 의존관계 작업(Task)의 집합프로그래밍(python) 방식으로 워크플로우를 작성하고 예약(*Scheduler), 모니터링(*Monitoring) 할 수 있다.즉, 스케쥴러 기능을 탑재한 워크플로우 오픈 소스 플랫폼이다. 2. Airflow 구성 (a) DAG (Directed Acyclic Graph)- 순환하지 않는 그래프, 대그라 부른다.- 반복/순환은 허용되지 않으며 하나의 플로우로 구성되어 순차적으로 Task를 수행한다. (b) Operator - Task를 정의함.- Type   1) Action Operators : 기능 및 명령을 실..