[ Airflow ] Celery, Ray - 비교 설명하기

Apache Airflow에서 Celery와 Ray는 각각 분산 실행기를 구현하기 위해 사용할 수 있는 도구로, 작업 분산 처리 및 병렬화에 접근하는 방식이 다릅니다. 아래는 Celery와 Ray의 주요 차이점과 각각의 특징을 비교한 설명입니다.

1. Celery

특징:

• 분산 태스크 큐 기반 프레임워크: Celery는 태스크 큐(queue)를 기반으로 분산 작업을 관리합니다.
• 태스크 지향 설계: 각 작업이 독립적으로 큐에 들어가며, 워커(worker)가 이를 소비하는 구조입니다.
• Airflow에서의 역할:
  • CeleryExecutor를 사용하여 DAG 내 태스크를 여러 워커 노드에서 병렬로 실행합니다.
  • RabbitMQ 또는 Redis를 메시지 브로커로 사용합니다.
• 장점:
  • 오래된 프로젝트로, 매우 안정적이고 많은 커뮤니티 지원을 받습니다.
  • 큐 관리 및 메시지 브로커 사용으로 확장성과 안정성을 보장합니다.
  • 태스크 상태와 재시도를 기본적으로 관리합니다.
• 단점:
  • 작업 간 통신이 큐에 의존하기 때문에 지연(latency)이 발생할 수 있습니다.
  • 실시간 데이터 처리를 위한 기능은 제한적입니다.

2. Ray

특징:

• 분산 컴퓨팅 프레임워크: Ray는 고성능 병렬 컴퓨팅을 목표로 설계된 범용 프레임워크입니다.
• Actor 기반 설계: Actor 및 태스크 모델을 사용해 작업 간 상호작용이 가능합니다.
• Airflow에서의 역할:
  • RayExecutor를 통해 DAG의 태스크를 Ray 클러스터에서 실행합니다.
  • 병렬 실행, 상태 유지, 데이터 공유에 강점이 있습니다.
• 장점:
  • 고성능 분산 학습 및 병렬 처리를 지원합니다.
  • Python과 친화적이며, 데이터 과학 및 머신러닝 작업에 적합합니다.
  • 동적 작업 스케줄링과 태스크 간 데이터 공유가 가능합니다.
• 단점:
  • Celery보다 새로운 도구로, 안정성 및 커뮤니티 지원이 비교적 적습니다.
  • 메시지 브로커를 사용하지 않기 때문에 대규모 큐 작업 관리에는 적합하지 않을 수 있습니다.

3. 주요 비교

특징
사용 목적	태스크 큐 기반 분산 처리	고성능 병렬 처리 및 머신러닝 작업
구조	메시지 브로커 기반 (Redis/RabbitMQ)	Actor/태스크 모델, 브로커 없음
스케줄링	태스크 지향 스케줄링	동적 태스크 스케줄링
성능	적당한 성능 (지연 발생 가능)	고성능, 낮은 지연
확장성	매우 높은 확장성	높은 확장성
사용 사례	일반적인 분산 처리 및 스케줄링	머신러닝, 데이터 과학, 실시간 작업
커뮤니티 지원	크고 안정적	상대적으로 작음

4. 선택 가이드

• Celery 사용을 추천하는 경우:
  • 워크로드가 CPU와 메모리 요구량이 낮고, 안정성이 중요한 전통적 태스크 분산 처리에 적합.
  • 메시지 브로커와 같은 성숙한 분산 태스크 관리 생태계를 선호.
• Ray 사용을 추천하는 경우:
  • 병렬 연산, 고성능 컴퓨팅, 대규모 데이터 처리 또는 머신러닝 워크로드가 필요.
  • 실시간 데이터 처리와 태스크 간 상호작용이 중요한 환경.

---

결론적으로, Celery는 안정성과 범용성을, Ray는 고성능과 유연성을 제공합니다. 선택은 워크로드의 성격과 프로젝트 요구사항에 따라 결정됩니다.