
Orchestrating data across 30 companies at itti
Kenten Danas me invitó a The Data Flowcast, el podcast de Astronomer, para contar cómo un Centro de Excelencia de Ingeniería de Datos sostiene Airflow para más de 30 empresas, donde la mayoría de quienes lo usan no son data engineers. Fueron unos 20 minutos, grabados por videollamada, sobre cómo hacer que la orquestación sea simple para el resto de la organización.
Show moreShow less
Puntos clave
- Airflow como orquestador, no como motor de procesamiento: unos 300 DAGs en producción.
- Un framework propio en YAML sobre Airflow, nacido después de que un enfoque tipo DAG Factory generara cuellos de botella en el code review. Más del 80% de los DAGs nuevos ya se crean con él: DAGs en Python, templates Jinja, configs YAML y compilación en CI/CD.
- Data quality integrada, con una herramienta propia que testea por partición, y operadores custom para dbt, calidad y servicios de AWS como QuickSight.
- Spec-driven development (un fork de GitHub Spec Kit) para que usuarios de negocio pidan DAGs que agentes generan a partir de templates certificados.
- Los errores se rutean por Slack al equipo dueño de cada DAG; solo lo profundo escala al equipo central. Próximo paso: PRs disparados por agentes para pipelines que se autocorrigen.
- Wishlist de Airflow 3: mejores backfills, orquestación por eventos y human-in-the-loop para DAGs de IA generativa.



























