AWS Primeros Pasos
Computación

AWS Batch

Servicio completamente administrado que programa automáticamente cientos de miles de trabajos de procesamiento por lotes y los ejecuta en los recursos de cómputo óptimos

Unos 4 min de lectura

Descripción general

AWS Batch es un servicio completamente administrado que automatiza la planificación, programación y ejecución de cargas de trabajo de computación por lotes. Al enviar trabajos a una cola, Batch aprovisiona automáticamente los recursos de cómputo necesarios (instancias EC2 o Fargate), resuelve las dependencias entre trabajos y los ejecuta en el orden óptimo. Es adecuado para cargas de trabajo que requieren ejecución masiva en paralelo, como análisis genómico, cálculo de riesgo financiero, codificación de video y preprocesamiento de machine learning. La integración con instancias Spot permite reducir los costos.

Entornos de cómputo EC2 y Fargate

El entorno de cómputo de AWS Batch define la infraestructura donde se ejecutan los trabajos. En entornos basados en EC2, se especifican los tipos de instancia, el número mínimo y máximo de vCPU y si se utilizan instancias Spot. Los entornos basados en Fargate no requieren gestión de instancias: basta con especificar las vCPU y memoria necesarias por trabajo. Como criterio orientativo, EC2 es la opción cuando se necesita GPU, tipos de instancia específicos o trabajos paralelos multi-nodo (MPI) para HPC; en los demás casos Fargate es una alternativa. Al usar instancias Spot en entornos EC2, una estrategia de reintento permite volver a ejecutar en otras instancias los trabajos que fallan por una interrupción, reduciendo los costos frente a las instancias bajo demanda en cargas de trabajo tolerantes a interrupciones (las tasas de descuento se indican en la página oficial de precios de instancias Spot). Azure Batch ofrece programación de trabajos similar; en AWS Batch, elegir un entorno basado en Fargate elimina la necesidad de gestionar instancias.

Control de colas de trabajos y dependencias

La programación de trabajos en Batch se compone de dos conceptos: colas de trabajos y definiciones de trabajos. Las colas de trabajos permiten establecer prioridades, ejecutando los trabajos de colas de alta prioridad antes que los de baja prioridad. Al asociar múltiples entornos de cómputo a una cola, es posible configurar un fallback a instancias Spot cuando las instancias bajo demanda son insuficientes. Las dependencias entre trabajos se resuelven automáticamente por Batch simplemente especificando el ID del trabajo dependiente al enviar el trabajo. Con Array Jobs se pueden enviar miles de trabajos de una sola vez con la misma definición, asignando un número de índice a cada trabajo, siendo común el diseño donde el índice controla qué elemento de una lista de archivos en S3 se procesa.

Integración con Step Functions y estrategias de reintento

El uso típico de AWS Batch es el procesamiento masivo en paralelo dentro de pipelines de datos. Una configuración común es detectar miles de archivos que llegan a S3 con EventBridge, enviar trabajos Batch a través de Step Functions, procesar cada archivo en paralelo y escribir los resultados de vuelta en S3. La integración con Step Functions permite definir de forma declarativa flujos de trabajo que esperan la finalización de trabajos Batch y ramifican el procesamiento posterior según éxito o fallo. En las definiciones de trabajo se pueden configurar estrategias de reintento (número máximo de reintentos, condiciones de reintento), recuperando automáticamente los fallos por errores temporales. Las condiciones de reintento permiten especificar patrones de código de salida o mensajes de error, posibilitando un control fino donde solo errores específicos (como falta de memoria) son objeto de reintento. Como punto clave de optimización de costos, es importante configurar timeouts adecuados para los trabajos y evitar que trabajos colgados consuman recursos indefinidamente.

Referencias (recursos oficiales de AWS)

Las fuentes primarias de esta página son el sitio web y la documentación oficiales de AWS. Consulta las páginas oficiales siguientes para conocer las especificaciones y los precios más recientes.

Si esta página y la documentación oficial difieren, prevalece la documentación oficial.

Compartir

Términos relacionados

Amazon EC2AWS FargateAWS Step FunctionsAWS Lambda

Servicios relacionados

Amazon EC2AWS FargateAWS Step Functions

Artículos relacionados

Simplificación del despliegue de contenedores - Despliegue sin configuración con AWS App RunnerExplicamos el método de despliegue de aplicaciones web en contenedores con AWS App Runner. Presentamos de forma práctica la diferenciación con ECS/Fargate, el auto-escalado, la integración con VPC y la conexión con pipelines CI/CD.Por qué Auto Scaling escala rápido hacia afuera y es cauteloso al reducir - Intención de diseño de la lógica de decisión asimétricaExplica la razón del diseño asimétrico de EC2 Auto Scaling que ejecuta el scale-out inmediatamente mientras establece un período de enfriamiento para el scale-in, el mecanismo de prevención de flapping y la lógica interna del Target Tracking Scaling.Infraestructura adaptable a la demanda con AWS Auto Scaling - Diseño y optimización de políticas de escaladoPresenta cómo utilizar los 3 tipos de políticas (Target Tracking, Predictive y Scheduled) y lograr la optimización de costos con instancias Spot mediante Mixed Instances Policy.¿Por qué las API de AWS devuelven XML? - La historia de la evolución desde Query API hasta REST JSONExplicamos las razones históricas por las que las API de S3 y EC2 devuelven respuestas XML, las diferencias entre Query API y REST API, la evolución de la autenticación de Signature V2 a V4, y la complejidad que los SDK ocultan.El diseño de Availability Zones de AWS - La diferencia en confiabilidad que genera la separación física y el aislamiento de fallosExplicamos la filosofía de diseño de las AZ de AWS como grupos de centros de datos físicamente independientes, comparándolas con las zonas de disponibilidad de Azure y GCP, y las examinamos a partir de los criterios de diseño publicados y de incidentes reales.

Términos y artículos similares

Infraestructura de computación por lotes - Procesamiento paralelo a gran escala con AWS BatchExplicamos cómo construir procesamiento por lotes a gran escala con AWS Batch. Cubrimos el diseño de colas de trabajos, auto-escalado de entornos de cómputo, optimización de costos con instancias Spot y la construcción de infraestructura de lotes ideal para computación científica y procesamiento de datos a gran escala.AWS BatchUn servicio administrado para programar y ejecutar eficientemente trabajos de computación por lotesEntrenamiento de machine learning basado en GPU con AWS Batch - Entrenamiento a gran escala con eficiencia de costosEjecute entrenamiento GPU con sus contenedores Docker existentes y reduzca costos hasta un 90% usando instancias Spot y checkpointing. Incluye orientación sobre cuándo elegir Batch sobre SageMaker.Construcción de render farm administrado con AWS Deadline Cloud - Migración de renderizado VFX a la nubeExplicamos la construcción de render farms con Deadline Cloud, la programación de trabajos y la optimización de costos mediante instancias Spot.Entorno HPC con AWS ParallelCluster - Construcción automática y escalado de clústeres SlurmConstruye automáticamente clústeres HPC basados en CloudFormation y gestiona trabajos con el planificador Slurm. También presentamos la optimización de costos con instancias Spot.