Diseño de infraestructura

Entorno HPC con AWS ParallelCluster - Construcción automática y escalado de clústeres Slurm

Construye automáticamente clústeres HPC basados en CloudFormation y gestiona trabajos con el planificador Slurm. También presentamos la optimización de costos con instancias Spot.

約 8 分で読めます

Descripción general de ParallelCluster

ParallelCluster es una herramienta de gestión de clústeres HPC de código abierto proporcionada por AWS. Define la configuración del clúster (tipos de instancia, número de nodos, almacenamiento, red) en un archivo de configuración YAML y lo construye automáticamente como un stack de CloudFormation con el comando pcluster create-cluster. El planificador de trabajos Slurm se configura de forma estándar, permitiendo utilizar scripts de trabajos Slurm existentes tal cual. Se utiliza para cargas de trabajo de computación paralela a gran escala como dinámica de fluidos computacional (CFD), dinámica molecular, análisis genómico, simulación meteorológica y cálculo de riesgo financiero. La versión 3 introdujo el modo Multi-Queue, que permite definir múltiples colas dentro de un solo clúster, cada una con diferentes tipos de instancia y configuraciones de almacenamiento. Los cambios de configuración se aplican a clústeres existentes mediante pcluster update-cluster sin destrucción, permitiendo añadir nodos y cambiar almacenamiento durante la operación.

Autoescalado y optimización de costos

El autoescalado de ParallelCluster se vincula con la cola de trabajos de Slurm. Cuando se envía un trabajo, los nodos de cómputo se inician automáticamente, y cuando permanecen inactivos durante un tiempo determinado después de completar el trabajo (temporizador de inactividad predeterminado de 10 minutos), los nodos se terminan automáticamente. Durante los períodos sin trabajos, el número de nodos de cómputo se reduce a cero, generándose solo el costo del nodo principal. El uso de instancias Spot puede reducir significativamente los costos de cargas de trabajo HPC. Especificar múltiples tipos de instancia con Allocation Strategy: capacity-optimized mejora la disponibilidad de Spot y reduce las tasas de interrupción. Para aplicaciones compatibles con checkpoints, es posible configurar el re-encolamiento automático de trabajos cuando se interrumpe una instancia Spot. Se recomienda ejecutar el nodo principal con instancias On-Demand y usar Spot solo para nodos de cómputo. El parámetro ScaledownIdletime permite ajustar el temporizador de inactividad; en entornos donde se envían trabajos cortos frecuentemente, aumentar este valor reduce la sobrecarga de inicio/terminación de nodos.

EFA y almacenamiento compartido

EFA (Elastic Fabric Adapter) es una interfaz de red de alta velocidad para cargas de trabajo HPC que reduce significativamente la latencia de comunicación entre nodos. Es eficaz para cargas de trabajo de computación paralela basadas en MPI (Message Passing Interface) donde el intercambio de datos entre nodos se convierte en un cuello de botella. Simplemente habilitando EFA en la configuración de ParallelCluster, EFA se configura automáticamente en los nodos de cómputo. Usar EFA requiere colocar nodos dentro de un grupo de ubicación, y ParallelCluster crea automáticamente un grupo de ubicación de clúster a través de la configuración de la sección Placement. El almacenamiento compartido se puede elegir entre FSx for Lustre, EFS y EBS. FSx for Lustre es ideal para la lectura paralela de conjuntos de datos a gran escala, y su integración con S3 importa automáticamente datos desde S3 al sistema de archivos Lustre y exporta resultados de cálculo a S3. EFS es efectivo para compartir datos entre múltiples clústeres o en entornos con alta variabilidad en el número de nodos, pero tiene mayor latencia que FSx for Lustre. Para aprender de forma exhaustiva la arquitectura de ParallelCluster, consulte libros técnicos (Amazon).

Mejores prácticas de diseño y errores comunes

Puntos clave al ejecutar ParallelCluster en producción: Para el dimensionamiento del nodo principal, clústeres con cientos de nodos aumentan el consumo de memoria del controlador Slurm, por lo que se debe elegir c5.xlarge o superior en lugar de t3.small. Como todo el clúster queda inutilizable si el nodo principal se detiene, configure copias de seguridad periódicas mediante snapshots de EBS. Para el diseño de red, coloque los nodos de cómputo en subredes privadas y acceda a S3 y CloudWatch mediante NAT gateways o endpoints de VPC. Usar un endpoint de VPC para S3 (tipo gateway) evita los cargos de transferencia de datos del NAT gateway, generando diferencias de costo significativas con E/S de datos a gran escala. Al usar AMIs personalizadas, base su personalización en AMIs oficiales que incluyen los paquetes requeridos por ParallelCluster (Slurm, Munge, supervisord) y construya con el comando pcluster build-image para evitar problemas de compatibilidad. Los sistemas operativos compatibles incluyen Amazon Linux 2, Ubuntu 20.04/22.04.

Comparación con AWS Batch

AWS ofrece dos servicios para cargas de trabajo HPC/batch: ParallelCluster y AWS Batch, con la elección óptima dependiendo de las características de la carga de trabajo. ParallelCluster usa Slurm como planificador, siendo ideal para organizaciones que migran desde entornos HPC on-premises usando Slurm sin modificar scripts de trabajos. Para computación paralela fuertemente acoplada que requiere comunicación entre nodos de baja latencia vía EFA (CFD, dinámica molecular), ParallelCluster es la única opción. En contraste, AWS Batch es un servicio completamente administrado que no requiere gestión de clústeres, empaquetando cargas de trabajo con definiciones de trabajos basadas en contenedores. Para computación de alto rendimiento que ejecuta gran cantidad de tareas independientes en paralelo (alineamiento de secuencias genómicas, pipelines de procesamiento de imágenes), AWS Batch tiene menor carga de gestión de infraestructura. ParallelCluster destaca en casos de uso de computación de investigación donde los usuarios necesitan control granular sobre la configuración del clúster, ubicación específica de instancias y configuraciones de almacenamiento.

Resumen

ParallelCluster es una herramienta que construye automáticamente clústeres HPC basados en Slurm en AWS. Logra la gestión de recursos según los trabajos con autoescalado, reduce costos con instancias Spot y proporciona comunicación de alta velocidad entre nodos con EFA. Es ideal para la migración desde clústeres HPC on-premises o para responder a demandas de computación intermitentes. El modo Multi-Queue consolida diferentes cargas de trabajo en un solo clúster, y la integración de FSx for Lustre con S3 optimiza la E/S de datos a gran escala.

Servicios relacionados

AWS ParallelClusterHerramienta de código abierto para construir y gestionar clústeres HPC (Computación de Alto Rendimiento) en AWSAmazon EC2Un servicio de cómputo que proporciona servidores virtuales en la nubeAmazon FSxSistemas de archivos completamente administrados para Windows File Server, Lustre, NetApp ONTAP y OpenZFS

Artículos relacionados

Infraestructura de computación por lotes - Procesamiento paralelo a gran escala con AWS BatchExplicamos cómo construir procesamiento por lotes a gran escala con AWS Batch. Cubrimos el diseño de colas de trabajos, auto-escalado de entornos de cómputo, optimización de costos con instancias Spot y la construcción de infraestructura de lotes ideal para computación científica y procesamiento de datos a gran escala.Entrenamiento de machine learning basado en GPU con AWS Batch - Entrenamiento a gran escala con eficiencia de costosEjecute entrenamiento GPU con sus contenedores Docker existentes y reduzca costos hasta un 90% usando instancias Spot y checkpointing. Incluye orientación sobre cuándo elegir Batch sobre SageMaker.Despliegue EC2/On-Premises de AWS CodeDeploy - Diseño de AppSpec y hooks de ciclo de vidaDefina declarativamente las rutas de destino de despliegue y los hooks de ciclo de vida con el archivo AppSpec. Presentamos la gestión de flotas con grupos de despliegue basados en etiquetas e integración con Auto Scaling.

Más sobre este tema

Por qué Auto Scaling escala rápido hacia afuera y es cauteloso al reducir - Intención de diseño de la lógica de decisión asimétricaExplica la razón del diseño asimétrico de EC2 Auto Scaling que ejecuta el scale-out inmediatamente mientras establece un período de enfriamiento para el scale-in, el mecanismo de prevención de flapping y la lógica interna del Target Tracking Scaling.Infraestructura adaptable a la demanda con AWS Auto Scaling - Diseño y optimización de políticas de escaladoPresenta cómo utilizar los 3 tipos de políticas (Target Tracking, Predictive y Scheduled) y lograr la optimización de costos con instancias Spot mediante Mixed Instances Policy.Diseño de dominios de fallo en AWS - El mecanismo de disponibilidad protegido por la estructura de 3 capas AZ, región y particiónExplicamos por qué la infraestructura de AWS está diseñada en 3 capas: AZ (aislamiento de fallos), región (separación geográfica) y partición (separación política), y hasta dónde se propagan los fallos en cada capa con ejemplos concretos.Principios de sistemas distribuidos aprendidos de las interrupciones de AWS - Arquitecturas transformadas por grandes incidentesUsando como material los informes de incidentes publicados por AWS, como la interrupción de S3 (2017), la interrupción de Kinesis (2020) y la particularidad de us-east-1, explicamos principios de diseño como Shuffle Sharding, Static Stability y Cell-based Architecture.Por qué AWS construye regiones allí - Los criterios desconocidos de selección de ubicación de centros de datosExplicamos los criterios de decisión que AWS considera al determinar la ubicación de regiones, como suministro eléctrico, riesgo geopolítico, legislación de soberanía de datos, conectividad de red y riesgo de desastres naturales, con ejemplos concretos de regiones.Por qué los Availability Zone ID de AWS difieren por cuenta - La intención de diseño detrás del mapeo de AZExplicamos cómo us-east-1a apunta a diferentes AZ físicas por cuenta, por qué se introdujeron los AZ ID (use1-az1), la intención de diseño de distribución uniforme de capacidad y las consideraciones para la especificación de AZ entre cuentas.Infraestructura de computación por lotes - Procesamiento paralelo a gran escala con AWS BatchExplicamos cómo construir procesamiento por lotes a gran escala con AWS Batch. Cubrimos el diseño de colas de trabajos, auto-escalado de entornos de cómputo, optimización de costos con instancias Spot y la construcción de infraestructura de lotes ideal para computación científica y procesamiento de datos a gran escala.Streaming en vivo con calidad broadcast - Construcción de plataforma de distribución a gran escala con AWS Elemental MediaLive y MediaPackageExplicamos cómo construir una plataforma de streaming en vivo con calidad broadcast usando AWS Elemental MediaLive y MediaPackage. Cubrimos transcodificación en tiempo real, DRM, inserción de anuncios y distribución multi-CDN.

Artículos y servicios similares

AWS ParallelClusterHerramienta de código abierto que construye automáticamente clústeres HPC (computación de alto rendimiento) en AWS, ejecutando eficientemente cálculos por lotes con el planificador de trabajos SlurmInfraestructura de computación por lotes - Procesamiento paralelo a gran escala con AWS BatchExplicamos cómo construir procesamiento por lotes a gran escala con AWS Batch. Cubrimos el diseño de colas de trabajos, auto-escalado de entornos de cómputo, optimización de costos con instancias Spot y la construcción de infraestructura de lotes ideal para computación científica y procesamiento de datos a gran escala.AWS BatchServicio completamente administrado que programa automáticamente cientos de miles de trabajos de procesamiento por lotes y los ejecuta en los recursos de cómputo óptimosProcesamiento de big data con Amazon EMR - Entorno de ejecución para Spark y HiveEjecuta trabajos Spark y consultas Hive en clústeres EMR, y presentamos la diferenciación con EMR Serverless y la optimización de costos con escalado gestionado.