Apache Airflow es la plataforma de referencia para programar, orquestar y monitorizar pipelines de datos. Defines tus flujos como código Python (DAGs), con dependencias, reintentos y un panel web para verlo todo en marcha.
El problema
Cuando tus procesos de datos crecen, coordinar decenas de tareas con dependencias entre ellas (que una espere a otra, reintentos, horarios, alertas) se vuelve un caos de scripts y crons dispersos. Sin una visión central, es difícil saber qué falló y dónde.
La solución
Airflow te deja describir todo el flujo como código: un DAG con sus tareas y dependencias. Él se encarga de planificar, ejecutar, reintentar y mostrarte el estado en una interfaz web clara. Escala desde tu portátil hasta clústeres con Kubernetes.
Características principales
- Pipelines definidos como código Python (DAGs).
- Planificación automática con dependencias entre tareas.
- Interfaz web para visualizar y monitorizar cada ejecución.
- Varios ejecutores: local, Celery o Kubernetes.
- Amplísimo catálogo de operadores y proveedores.
- Plantillas con Jinja para flujos dinámicos.
Vídeo
Pega aquí la URL del vídeo de YouTube (se incrustará automáticamente al pegarla en el editor).
Casos de uso
- Pipelines ETL/ELT para mover y transformar datos.
- Orquestar entrenamiento y despliegue de modelos de ML.
- Procesamiento de datos en lote programado.
- Flujos con pasos de IA y LLMs.
Cómo empezar
Puedes instalarlo desde PyPI fijando las versiones con el fichero de constraints oficial:
pip install 'apache-airflow==3.3.0' \
--constraint "https://raw.githubusercontent.com/apache/airflow/constraints-3.3.0/constraints-3.10.txt"
airflow standalonePara producción es habitual usar la imagen oficial de Docker. airflow standalone levanta un entorno de prueba con la interfaz web lista.
Ficha técnica
- Lenguaje: Python
- Licencia: Apache-2.0 (código abierto)
- Plataformas: Linux y macOS; Windows vía WSL2; escala con Kubernetes
- Popularidad: con más de 40.000 estrellas en GitHub
Alternativas
Compite con Prefect, Dagster, Luigi y Kestra. Airflow destaca por ser el estándar de facto, con una comunidad enorme y cientos de integraciones listas para usar.
Preguntas frecuentes
¿Es gratis?
Sí, es un proyecto de la Apache Software Foundation con licencia Apache-2.0, totalmente gratuito y open source.
¿Necesito saber Python?
Sí, los flujos (DAGs) se escriben en Python. No hace falta ser experto, pero sí manejarte con el lenguaje.
¿Sirve para proyectos pequeños?
Puede, aunque su fuerte son los flujos medianos y grandes. Para algo muy simple quizá te sobre; brilla cuando hay muchas dependencias y necesitas trazabilidad.
Repositorio
Repositorio en GitHub: apache/airflow