Procesamiento de streams en tiempo real con Amazon Managed Service for Apache Flink - Procesamiento con estado y agregación por ventanas

Un entorno totalmente administrado de Apache Flink ejecuta procesamiento de streams en tiempo real con aplicaciones SQL o Java/Python. Este artículo explica patrones de diseño para la agregación por ventanas, la detección de patrones y la integración con Kinesis/MSK.

Unos 7 min de lecturaÚltima actualización: 2026-10-31

Descripción general de Managed Flink

Managed Service for Apache Flink es un servicio de procesamiento de streams que ejecuta aplicaciones de Apache Flink de forma administrada. Es el sucesor de Kinesis Data Analytics, y usted puede utilizar todas las funciones de Flink de forma serverless. Mientras que Lambda procesa eventos individuales, Flink ofrece procesamiento de streams con estado (agregaciones, joins y detección de patrones).

Agregación por ventanas y checkpoints

Las ventanas tumbling agregan datos en intervalos de tiempo de longitud fija (por ejemplo, cada 1 minuto) y se utilizan para calcular métricas en tiempo real. Las ventanas deslizantes calculan medias móviles en intervalos de tiempo superpuestos. Las ventanas de sesión delimitan las sesiones según los intervalos entre eventos y son adecuadas para analizar sesiones de usuario. Los checkpoints persisten periódicamente el estado de Flink en S3, y ante un fallo Flink se recupera con precisión desde un checkpoint. La semántica exactly-once evita la duplicación o la pérdida de datos.

Diseño de fuentes y destinos

Managed Flink admite Kinesis Data Streams, MSK (Managed Streaming for Apache Kafka) y S3 como fuentes. El conector de Kinesis gestiona automáticamente la lectura en paralelo de los shards y los checkpoints, y proporciona semántica Exactly-Once. Como destinos (sinks), usted puede especificar Kinesis Data Streams, Firehose, S3, DynamoDB y OpenSearch, y los resultados del procesamiento se entregan a los sistemas downstream en tiempo real. Con Apache Flink SQL, usted puede escribir el procesamiento de streams como consultas SQL e implementar agregaciones por ventanas y joins sin programar en Java/Scala. El Async I/O de Flink llama de forma asíncrona a servicios externos (búsquedas en DynamoDB) y enriquece los datos mientras mantiene el rendimiento.

Precios de Managed Flink

Managed Flink se cobra por horas de KPU (Kinesis Processing Unit). 1 KPU equivale a 1 vCPU y 4 GB de memoria, y cuesta aproximadamente 0,11 USD por hora (a fecha de agosto de 2026). Usted configura adecuadamente el paralelismo (parallelism) y el número de KPU de la aplicación para evitar asignar recursos en exceso. Cuando se habilita el escalado automático, el número de KPU se ajusta automáticamente según el volumen de datos de entrada. El almacenamiento persistente de la aplicación (checkpoints y estado) cuesta aproximadamente 0,10 USD por GB al mes. A medida que aumenta el tamaño del estado, crecen el tiempo de los checkpoints y los costes de almacenamiento, por lo que usted configura un TTL para eliminar automáticamente el estado innecesario.

Tiempo de evento y marcas de agua

En el procesamiento de streams, es importante distinguir el momento en que se produjeron los datos (tiempo de evento) del momento en que llegaron al sistema de procesamiento (tiempo de procesamiento). Debido a los retrasos de red, entre otros factores, los eventos pueden llegar en un orden distinto al de su ocurrencia. Flink puede agregar ventanas basándose en el tiempo de evento. Mediante un mecanismo llamado marca de agua (watermark), determina que «los datos hasta este punto ya han llegado». Al configurar un margen de tolerancia para los datos que llegan tarde, usted puede obtener resultados de agregación correctos aunque haya cierto retraso en la llegada. Diseñar partiendo de que los tiempos se desfasan es la base de una agregación en tiempo real fiable.

Gestión del estado y escalado

Flink mantiene un estado intermedio para las agregaciones por ventanas y los joins. Como el tamaño de este estado determina el rendimiento del procesamiento y el coste, el estado que deja de ser necesario se elimina automáticamente con un TTL para evitar que crezca en exceso. Aumentar el paralelismo de la aplicación incrementa la capacidad de procesamiento, pero requiere redistribuir el estado. Si usted toma un savepoint antes de cambiar el paralelismo, puede escalar conservando el estado sin detener el procesamiento. En cargas de trabajo con grandes variaciones en el volumen de entrada, el escalado automático ajusta automáticamente los recursos de procesamiento y mantiene una configuración sin excesos ni carencias.

Casos de uso representativos

Managed Flink es adecuado para el análisis continuo con estado. Son ejemplos típicos la agregación en tiempo real de ventas o del número de accesos en intervalos fijos, la detección de patrones de transacciones fraudulentas a partir de secuencias de varios eventos y la supervisión de anomalías en datos de sensores. El procesamiento que une y relaciona varios streams, y el procesamiento de eventos complejos (CEP), que extrae patrones específicos de las secuencias de eventos que llegan, también son puntos fuertes. Elegir Lambda es adecuado para el procesamiento que solo reacciona a eventos individuales, pero Flink demuestra su fuerza en situaciones que requieren decisiones continuas basadas en datos pasados.

Desarrollo y operación

En el desarrollo, usted puede elegir entre escribir el procesamiento de streams como consultas con Flink SQL o controlarlo en detalle con Java o Python. Con un entorno de notebooks, usted puede avanzar en el desarrollo probando consultas de forma interactiva, y el despliegue a una aplicación de producción también es sencillo. En la operación, usted comprueba en el panel de Flink el estado de procesamiento de los trabajos y la contrapresión (backpressure, atascos downstream), e identifica los cuellos de botella. Supervisar la latencia y los fallos con las métricas de CloudWatch y comprobar de forma continua que los checkpoints se completan de forma estable garantiza una recuperación fiable ante fallos.

Resumen

Managed Flink es un servicio que ofrece procesamiento de streams con estado de forma administrada. Agrega datos en tiempo real con ventanas tumbling y deslizantes, y garantiza la semántica Exactly-Once mediante checkpoints. Usted puede escribir el procesamiento de streams de forma declarativa con Flink SQL, y el escalado automático logra el ajuste automático del número de KPU según el volumen de datos de entrada.

Referencias (recursos oficiales de AWS)

Las fuentes primarias de esta página son el sitio web y la documentación oficiales de AWS. Consulta las páginas oficiales siguientes para conocer las especificaciones y los precios más recientes.

Si esta página y la documentación oficial difieren, prevalece la documentación oficial.

Uso práctico de Amazon Quick - Casos de uso por departamento y patrones de diseño para la automatización de flujos de trabajoPresentamos de forma concreta escenarios de uso para cada departamento, como ventas / TI / finanzas, y patrones de diseño de flujos de trabajo de notificación / aprobación / varias etapas con Quick Flows.Visualización de dashboards BI - Plataforma de decisiones basada en datos con Amazon Quick SightExplicamos la construcción de dashboards BI interactivos con Amazon Quick Sight (antes Amazon QuickSight) y una plataforma de análisis de datos serverless con integración Athena. Presentamos la visualización de alta velocidad con el motor SPICE y métodos prácticos para compartir insights en toda la organización.Construcción de redes blockchain - Amazon Managed Blockchain y la migración desde QLDB (descontinuado)Explicamos la construcción de redes blockchain con Amazon Managed Blockchain, el papel de Amazon QLDB (descontinuado el 31-07-2025) y su ruta oficial de migración a Aurora PostgreSQL.Colaboración de datos con preservación de privacidad con AWS Clean RoomsEjecute análisis conjuntos entre múltiples empresas sin compartir ni copiar datos. Aprenda sobre reglas de agregación para prevenir la identificación individual y Cryptographic Computing para análisis cifrado.Unificación de identidades de clientes - Cotejo de datos de clientes dispersos con AWS Entity ResolutionSe explica el cotejo de registros de datos de clientes (resolución de entidades) con AWS Entity Resolution. Se presentan los tres flujos de trabajo de coincidencia (basado en reglas, basado en ML y basado en servicios de proveedores), el mapeo de ID, los precios, la protección de la privacidad y la integración con Clean Rooms.Aprovechamiento de datos de terceros con AWS Data Exchange - Adquisición de datos y gestión de suscripcionesSe adquieren productos de datos de terceros a través de Marketplace y se construye un pipeline de entrega automática a S3. También se presentan métodos para convertir en productos y monetizar los datos propios.Construcción de un data lake con Amazon S3 y Lake Formation - Patrones de diseño y gobernanzaSe presentan patrones de diseño de data lake que usan S3 como base de almacenamiento y logran un control de acceso detallado con Lake Formation. También se explican los pipelines ETL y la optimización de costes.Gobernanza de data lake - Control de acceso centralizado con AWS Lake FormationConstrucción, control de acceso y gobernanza de data lake con AWS Lake Formation. Gestión granular de permisos a nivel de columna y fila para data lakes basados en S3, e integración con Glue y Athena.