[ Airflow ] dag 파일 등록하기

Apache Airflow에서 DAG 파일을 등록하는 방법은 다음과 같습니다:

1. DAG 파일 생성:
   • DAG 파일은 Python 스크립트로 작성됩니다. 파일 확장자는 .py이며, Airflow에서 인식할 수 있도록 DAG 객체를 정의해야 합니다.
   • 예시 코드:

     from airflow import DAG
     from airflow.operators.dummy_operator import DummyOperator
     from datetime import datetime

     default_args = {
         'owner': 'airflow',
         'start_date': datetime(2024, 10, 11),
         'retries': 1,
     }

     dag = DAG(
         'example_dag',
         default_args=default_args,
         schedule_interval='@daily',
         catchup=False
     )

     start = DummyOperator(task_id='start', dag=dag)
     end = DummyOperator(task_id='end', dag=dag)

     start >> end

2. DAG 파일 위치:
   • 생성한 DAG 파일을 Airflow가 사용하는 dags_folder에 위치시켜야 합니다. 기본적으로 Airflow는 airflow.cfg 파일에서 설정된 dags_folder 경로에 있는 모든 .py 파일을 DAG로 인식합니다.
   • airflow.cfg에서 dags_folder의 기본 경로는 ~/airflow/dags입니다.
3. Airflow Web UI에서 DAG 활성화:
   • DAG 파일을 dags_folder에 복사한 후 Airflow Web UI에 접속하여 새로 추가된 DAG을 확인할 수 있습니다.
   • Web UI에서 DAG을 활성화하려면 DAG의 토글 스위치를 켜야 합니다.
4. DAG 파일 자동 업데이트:
   • Airflow는 dags_folder를 주기적으로 스캔하여 새로운 DAG을 자동으로 등록합니다. 기본적으로 이 주기는 min_file_process_interval로 설정되며, 이는 airflow.cfg에서 조정할 수 있습니다.

위의 절차를 따르면 Airflow에 새로운 DAG 파일을 등록하고 실행할 수 있습니다.