Amazon MWAA
Servicio completamente administrado de Apache Airflow que ejecuta orquestación de pipelines de datos mediante DAGs
Descripción general
Amazon MWAA (Managed Workflows for Apache Airflow) es un servicio completamente administrado que ejecuta Apache Airflow para orquestación de pipelines de datos. Airflow permite definir flujos de trabajo complejos como código Python (DAGs - Directed Acyclic Graphs), programando y monitorizando la ejecución de tareas con dependencias. MWAA elimina la complejidad de gestionar la infraestructura de Airflow (scheduler, workers, metastore, web server), permitiendo enfocarse en la definición de pipelines.
Clases de entorno y escalado de workers
MWAA ofrece clases de entorno como mw1.micro, mw1.small, mw1.medium, mw1.large, mw1.xlarge y mw1.2xlarge (a octubre de 2026); según la guía del usuario, la clase determina el tamaño de los contenedores de Fargate donde se ejecuta el Celery Executor y de la base de datos de metadatos Aurora PostgreSQL. La selección depende del número de DAGs y la complejidad de la programación. Salvo en mw1.micro, los workers se escalan automáticamente entre un mínimo y máximo configurado, según las tareas en ejecución y en cola. Cada worker ejecuta tareas en paralelo según la opción celery.worker_autoscale. Para picos predecibles, una opción es aumentar el mínimo de workers antes del pico. Las métricas de CloudWatch (QueuedTasks, RunningTasks, SchedulerHeartbeat) permiten monitorizar la salud del entorno y configurar alarmas.
Despliegue de DAGs y mecanismo de sincronización con S3
Los archivos DAG se almacenan en un bucket S3 designado y MWAA los sincroniza automáticamente al scheduler y workers. Según la guía del usuario, los objetos nuevos y modificados se sincronizan cada 30 segundos. La estructura del bucket incluye carpetas para DAGs, plugins (código Python personalizado, operadores custom) y requirements.txt (dependencias pip). Los plugins se empaquetan como archivos ZIP y se sincronizan junto con los DAGs. Las dependencias Python se instalan automáticamente al iniciar los workers. Para DAGs que requieren paquetes del sistema operativo o bibliotecas de tiempo de ejecución, la guía del usuario describe el uso de un script de inicio. El versionado de DAGs se gestiona mediante el versionado del bucket S3, permitiendo rollback a versiones anteriores si un DAG introduce errores.
Gestión de plugins y diseño de red VPC
MWAA se despliega dentro de una VPC del cliente, con subnets privadas para los componentes de Airflow. El acceso al web server puede configurarse como público (accesible desde internet con autenticación IAM) o privado (solo accesible desde la VPC), y también existe un modo que combina ambos (a octubre de 2026). Las subnets privadas necesitan una ruta a un dispositivo NAT o a puntos de enlace de VPC para que los workers se conecten a servicios AWS. Los security groups controlan la comunicación entre componentes y el acceso a recursos externos. Los plugins de Airflow permiten extender la funcionalidad con operadores personalizados, hooks para sistemas externos y macros de Jinja. Los providers de AWS (apache-airflow-providers-amazon) proporcionan operadores nativos para servicios como Glue, EMR, ECS, Lambda, Step Functions y S3, simplificando la integración con el ecosistema AWS. Como backend de secretos para las conexiones de Airflow, se puede usar Secrets Manager.
Referencias (recursos oficiales de AWS)
Las fuentes primarias de esta página son el sitio web y la documentación oficiales de AWS. Consulta las páginas oficiales siguientes para conocer las especificaciones y los precios más recientes.
- AWS Glue (página oficial)
- AWS Step Functions (página oficial)
- Amazon EMR (página oficial)
- Documentación de AWS (oficial)
Si esta página y la documentación oficial difieren, prevalece la documentación oficial.