Amazon Managed Service for Apache Flink

Servicio que ejecuta Apache Flink de forma completamente administrada, procesando datos de streaming en tiempo real desde Kinesis Data Streams o MSK con baja latencia

Unos 3 min de lectura

Descripción general

Amazon Managed Service for Apache Flink es un servicio completamente administrado que ejecuta aplicaciones Apache Flink para procesamiento de datos de streaming en tiempo real. Elimina la complejidad de gestionar clústeres Flink, permitiendo enfocarse en la lógica de procesamiento. Se integra nativamente con Kinesis Data Streams y Amazon MSK como fuentes de datos, y puede escribir resultados en S3, OpenSearch, DynamoDB y otros destinos. Soporta tanto la API DataStream de Java/Scala como SQL para definir la lógica de procesamiento.

Despliegue y escalado de aplicaciones Flink

Las aplicaciones Flink se empaquetan como archivos JAR (Java/Scala) o se definen mediante notebooks SQL interactivos (Apache Zeppelin integrado). El despliegue consiste en subir el JAR a S3 y configurar la aplicación con los parámetros de runtime (paralelismo, fuentes, destinos). El escalado se controla mediante el paralelismo de la aplicación, que determina cuántas tareas paralelas procesan los datos. El auto-scaling ajusta automáticamente el paralelismo basándose en métricas como el retraso del consumidor (consumer lag) y la utilización de CPU. Los Kinesis Processing Units (KPU) son la unidad de capacidad, donde cada KPU proporciona 1 vCPU y 4GB de memoria. Para aplicaciones con estado grande, se puede configurar memoria adicional por KPU.

Checkpointing y gestión de estado

Apache Flink mantiene estado en memoria para operaciones como ventanas temporales, agregaciones y joins. Los checkpoints persisten periódicamente este estado en almacenamiento duradero (S3), permitiendo recuperación ante fallos sin pérdida de datos. Managed Flink configura checkpointing automáticamente con intervalos predeterminados, aunque se pueden ajustar según los requisitos de latencia y consistencia. Los savepoints son snapshots manuales del estado completo de la aplicación, útiles para actualizaciones de código, cambios de paralelismo o migración entre versiones. La semántica exactly-once garantiza que cada registro se procesa exactamente una vez incluso ante fallos, crucial para aplicaciones financieras o de facturación. El backend de estado RocksDB permite manejar estados que exceden la memoria disponible, almacenando datos en disco local con acceso eficiente.

Integración de fuentes y destinos con Kinesis y MSK

Como fuente, Managed Flink consume registros de Kinesis Data Streams o temas de MSK (Kafka) con gestión automática de offsets y recuperación ante fallos. Los conectores nativos manejan la deserialización de formatos comunes (JSON, Avro, Protobuf) y el descubrimiento dinámico de nuevos shards o particiones. Como destinos (sinks), soporta escritura a S3 (en formatos Parquet, ORC o JSON), OpenSearch para búsqueda en tiempo real, DynamoDB para almacenamiento de resultados de baja latencia, y Kinesis Data Streams para encadenamiento de pipelines. La API Table/SQL de Flink permite definir pipelines de procesamiento completos en SQL, reduciendo la barrera de entrada para analistas de datos. Las funciones de ventana (tumbling, sliding, session) permiten agregaciones temporales como "promedio de temperatura por sensor en ventanas de 5 minutos".

共有するXB!

Términos relacionados

Amazon KinesisAmazon MSKAmazon EMRAmazon OpenSearch ServiceAmazon S3

Servicios relacionados

Amazon KinesisAmazon MSKAmazon S3Amazon OpenSearch Service

Artículos relacionados

Construcción de infraestructura de streaming Apache Kafka con Amazon MSK - Diseño y operación de clústeresExplicación de la construcción de infraestructura de streaming con Amazon MSK. Se presenta la diferenciación con Kinesis, el diseño de clústeres, MSK Serverless y la integración de datos con MSK Connect.Construcción de aplicaciones RAG con Amazon Bedrock Knowledge Bases - Implementación de generación aumentada por recuperaciónIndexe automáticamente documentos en S3 y unifique búsqueda y generación con la API RetrieveAndGenerate. Cubre la selección de estrategia de chunking y la seguridad con Guardrails.Búsqueda y análisis de datos - Construcción de plataforma de búsqueda de texto completo y visualización con OpenSearchTécnicas de diseño de búsqueda y análisis de datos con Amazon OpenSearch Service. Construcción de plataforma de análisis con búsqueda de texto completo, análisis de logs y visualización con dashboards.Pipeline de datos en tiempo real con Amazon Kinesis - Diferenciación entre Data Streams y Data FirehoseIngeste datos en tiempo real con Data Streams y distribúyalos automáticamente a S3, Redshift y OpenSearch con Data Firehose. Explicamos cómo construir un pipeline de streaming con diseño de shards y diferenciación del modo bajo demanda.Procesamiento de streams en tiempo real con Amazon Managed Service for Apache Flink - Procesamiento con estado y agregación por ventanasSe ejecuta procesamiento de streams en tiempo real mediante aplicaciones SQL o Java/Python en un entorno completamente gestionado de Apache Flink. Se explican los patrones de diseño de agregación por ventanas, detección de patrones e integración con Kinesis/MSK.

Términos y artículos similares

Procesamiento de streams en tiempo real con Amazon Managed Service for Apache Flink - Procesamiento con estado y agregación por ventanasSe ejecuta procesamiento de streams en tiempo real mediante aplicaciones SQL o Java/Python en un entorno completamente gestionado de Apache Flink. Se explican los patrones de diseño de agregación por ventanas, detección de patrones e integración con Kinesis/MSK.Amazon Managed Service for Apache FlinkServicio administrado de procesamiento de streams para ejecutar aplicaciones Apache FlinkStreaming de datos en tiempo real - Procesamiento inmediato de datos con Amazon KinesisIngesta y procesa flujos de datos en tiempo real con Kinesis Data Streams y Data Firehose. Presentamos el diseño de shards, el procesamiento con Lambda y la entrega a destinos.Diseño de procesamiento de datos en streaming - Construcción de pipelines de datos en tiempo real con KinesisExplicamos técnicas de diseño de procesamiento de datos en streaming con Amazon Kinesis, incluyendo la construcción de pipelines en tiempo real, la integración con Lambda y la entrega a S3.Streaming Kafka gestionado - Pipeline de datos en tiempo real a gran escala con Amazon MSKSe explica la construcción de un clúster Kafka completamente gestionado con Amazon MSK (Managed Streaming for Apache Kafka) y la diferenciación con Kinesis. Se presentan patrones de diseño de infraestructura de streaming de datos en tiempo real a gran escala.