Amazon EMR icono

Amazon EMR Especializadodesde 2009

Un servicio administrado para ejecutar frameworks de big data como Apache Spark, Hive y Presto

Unos 2 min de lectura

Qué hace

Amazon EMR (Elastic MapReduce) ejecuta frameworks de big data de código abierto como Apache Spark, Hive, Presto, Flink y HBase en infraestructura administrada de AWS. Puede ejecutar clústeres en instancias EC2, contenedores EKS o en modo sin servidor. EMR gestiona automáticamente el aprovisionamiento, configuración y ajuste de los frameworks.

Casos de uso

Se utiliza para procesamiento de datos a gran escala, análisis de datos con SQL (Hive, Presto), aprendizaje automático con Spark MLlib, procesamiento de flujos en tiempo real con Flink, ETL para lagos de datos, y análisis de logs y clickstream.

Analogía cotidiana

Piense en ello como una fábrica temporal de procesamiento de datos. Cuando tiene una gran cantidad de materias primas (datos) para procesar, EMR monta una fábrica (clúster) con las máquinas necesarias (frameworks), procesa todo y luego puede desmontar la fábrica cuando termine, pagando solo por el tiempo de uso.

¿Qué es EMR?

Amazon EMR es un servicio administrado que simplifica la ejecución de frameworks de procesamiento de big data. Tradicionalmente, configurar un clúster Hadoop o Spark requería semanas de trabajo: instalar software, configurar redes, ajustar parámetros. EMR automatiza todo esto, permitiéndole lanzar un clúster completamente configurado en minutos.

Frameworks y aplicaciones

EMR admite múltiples frameworks de código abierto. Apache Spark para procesamiento de datos general y aprendizaje automático. Apache Hive para consultas SQL sobre datos grandes. Presto/Trino para consultas SQL interactivas. Apache Flink para procesamiento de flujos. Apache HBase para bases de datos NoSQL. Puede instalar múltiples frameworks en un solo clúster.

Opciones de despliegue

EMR ofrece tres opciones de despliegue. EMR en EC2 ejecuta clústeres en instancias EC2 con control total sobre la configuración. EMR en EKS ejecuta cargas de trabajo Spark en clústeres de Kubernetes existentes. EMR Serverless ejecuta trabajos sin gestionar clústeres ni servidores, escalando automáticamente según la carga de trabajo.

Primeros pasos

Para comenzar con EMR, cree un clúster desde la consola especificando los frameworks, tipos de instancia y número de nodos. Puede enviar trabajos interactivamente usando notebooks EMR Studio, o programáticamente usando Steps. Para cargas de trabajo ad-hoc, EMR Serverless es la forma más rápida de comenzar sin gestión de infraestructura. Para más información, libros en Amazon también son útiles.

Aspectos a tener en cuenta

  • Dejar el clúster en marcha genera cargos de instancias de forma continua, así que se recomienda configurar la terminación automática al completar los trabajos
  • Usar instancias de spot en los nodos de tareas reduce considerablemente los costos, pero se necesita un diseño de trabajos preparado para interrupciones
  • Para casos de uso simples, EMR Serverless puede ser más rentable al no requerir gestión de clústeres
CompartirXB!

Servicios relacionados

Amazon S3 iconoAmazon S3 EsencialServicio de almacenamiento de objetos escalableAWS Glue iconoAWS Glue PopularUn servicio ETL sin servidor que automatiza la extracción, transformación y carga de datosAmazon Athena iconoAmazon Athena PopularUn servicio de consultas serverless que permite analizar datos en S3 usando SQL estándarAmazon EMR Serverless iconoAmazon EMR Serverless EspecializadoUn servicio sin servidor para ejecutar trabajos de Spark y Hive sin gestión de clústeres

Artículos relacionados

Procesamiento de big data con Amazon EMR - Entorno de ejecución para Spark y HiveEjecuta trabajos Spark y consultas Hive en clústeres EMR, y presentamos la diferenciación con EMR Serverless y la optimización de costos con escalado gestionado.Apache Spark en Amazon EMR - Diseño de clústeres para procesamiento de big data y optimización de costosExplicamos la construcción de clústeres Spark con EMR, la diferenciación con EMR Serverless y la optimización de costos mediante el uso de instancias Spot.

Más en esta categoría

Amazon Athena iconoAmazon Athena PopularUn servicio de consultas serverless que permite analizar datos en S3 usando SQL estándarAWS Clean Rooms iconoAWS Clean Rooms NuevoUn servicio de colaboración de datos con protección de privacidad que permite a múltiples empresas realizar análisis conjuntos sin compartir datosAWS Data Exchange iconoAWS Data Exchange EspecializadoUn marketplace de datos que permite buscar, suscribirse y utilizar fácilmente datasets de tercerosAmazon DataZone iconoAmazon DataZone NuevoUn servicio de gestión de datos que integra descubrimiento, compartición y gobernanza de datosAmazon EMR Serverless iconoAmazon EMR Serverless EspecializadoUn servicio sin servidor para ejecutar trabajos de Spark y Hive sin gestión de clústeresAWS Entity Resolution iconoAWS Entity Resolution NuevoUn servicio de coincidencia de datos que reconcilia y unifica registros de diferentes fuentes de datosAWS Glue iconoAWS Glue PopularUn servicio ETL sin servidor que automatiza la extracción, transformación y carga de datosAmazon Kinesis iconoAmazon Kinesis PopularServicio para recopilar, procesar y analizar datos de streaming en tiempo real

Artículos y servicios similares

Amazon EMRPlataforma de big data que ejecuta frameworks de código abierto como Apache Spark, Hive y Presto de forma gestionada para procesamiento y análisis de datos a escala de petabytesProcesamiento de big data con Amazon EMR - Entorno de ejecución para Spark y HiveEjecuta trabajos Spark y consultas Hive en clústeres EMR, y presentamos la diferenciación con EMR Serverless y la optimización de costos con escalado gestionado.Apache Spark en Amazon EMR - Diseño de clústeres para procesamiento de big data y optimización de costosExplicamos la construcción de clústeres Spark con EMR, la diferenciación con EMR Serverless y la optimización de costos mediante el uso de instancias Spot.Ejecución serverless de trabajos Spark con Amazon EMR Serverless - Procesamiento de big data sin gestión de clústeresExplicamos la ejecución de trabajos Spark/Hive con EMR Serverless, el diseño de ejecuciones de trabajos y la optimización de costos.