Análisis y búsqueda

Procesamiento de streams en tiempo real con Amazon Managed Service for Apache Flink - Procesamiento con estado y agregación por ventanas

Se ejecuta procesamiento de streams en tiempo real mediante aplicaciones SQL o Java/Python en un entorno completamente gestionado de Apache Flink. Se explican los patrones de diseño de agregación por ventanas, detección de patrones e integración con Kinesis/MSK.

約 3 分で読めます

Descripción general de Managed Flink

Managed Service for Apache Flink es un servicio de procesamiento de streams que ejecuta aplicaciones Apache Flink de forma gestionada. Es el sucesor de Kinesis Data Analytics y permite utilizar todas las funciones de Flink de forma serverless. Mientras Lambda procesa eventos individuales, Flink proporciona procesamiento de streams con estado (agregación, unión, detección de patrones), siendo ideal para análisis en tiempo real que requieren mantener estado entre eventos.

Agregación por ventanas y checkpoints

Las ventanas tumbling agregan datos en intervalos de tiempo fijos (por ejemplo, cada 1 minuto) y se utilizan para el cálculo de métricas en tiempo real. Las ventanas sliding calculan promedios móviles en intervalos de tiempo superpuestos. Las ventanas de sesión delimitan sesiones por los gaps entre eventos y son adecuadas para el análisis de sesiones de usuario. Los checkpoints persisten periódicamente el estado de Flink en S3, permitiendo una recuperación precisa desde el checkpoint en caso de fallo, garantizando la semántica Exactly-Once.

Diseño de fuentes y destinos

Managed Flink soporta Kinesis Data Streams, MSK (Managed Streaming for Apache Kafka) y S3 como fuentes. El conector de Kinesis gestiona automáticamente la lectura paralela de shards y los checkpoints, proporcionando semántica Exactly-Once. Los destinos incluyen Kinesis Data Streams, Firehose (para entrega a S3/Redshift/OpenSearch), DynamoDB, OpenSearch y RDS. Flink SQL permite escribir procesamiento de streams de forma declarativa, y con Table API se pueden definir fuentes y destinos como tablas para ejecutar consultas SQL de streaming.

Precios de Managed Flink

Los precios de Managed Flink se cobran por hora de KPU (Kinesis Processing Unit). 1 KPU equivale a 1 vCPU y 4 GB de memoria, a aproximadamente 0,11 USD por hora. Se debe configurar adecuadamente el paralelismo y el número de KPUs de la aplicación para evitar la asignación excesiva de recursos. Al habilitar el autoescalado, el número de KPUs se ajusta automáticamente según el volumen de datos de entrada, optimizando los costos.

Resumen

Managed Flink es un servicio que proporciona procesamiento de streams con estado de forma gestionada. Ejecuta la agregación de datos en tiempo real con ventanas tumbling y sliding, y garantiza la semántica Exactly-Once con checkpoints. Flink SQL permite escribir procesamiento de streams de forma declarativa, y el autoescalado logra el ajuste automático del número de KPUs según el volumen de datos de entrada.

Servicios relacionados

Amazon Managed Service for Apache FlinkServicio administrado de procesamiento de streams para ejecutar aplicaciones Apache FlinkAmazon KinesisServicio para recopilar, procesar y analizar datos de streaming en tiempo realAmazon MSKServicio Apache Kafka totalmente administrado para procesamiento de datos de streaming en tiempo real

Artículos relacionados

Pipeline de datos en tiempo real con Amazon Kinesis - Diferenciación entre Data Streams y Data FirehoseIngeste datos en tiempo real con Data Streams y distribúyalos automáticamente a S3, Redshift y OpenSearch con Data Firehose. Explicamos cómo construir un pipeline de streaming con diseño de shards y diferenciación del modo bajo demanda.Streaming Kafka gestionado - Pipeline de datos en tiempo real a gran escala con Amazon MSKSe explica la construcción de un clúster Kafka completamente gestionado con Amazon MSK (Managed Streaming for Apache Kafka) y la diferenciación con Kinesis. Se presentan patrones de diseño de infraestructura de streaming de datos en tiempo real a gran escala.Construcción de infraestructura de streaming Apache Kafka con Amazon MSK - Diseño y operación de clústeresExplicación de la construcción de infraestructura de streaming con Amazon MSK. Se presenta la diferenciación con Kinesis, el diseño de clústeres, MSK Serverless y la integración de datos con MSK Connect.

Más sobre este tema

Uso práctico de Amazon Quick - Casos de uso por departamento y patrones de diseño para automatización de flujos de trabajoPresentamos escenarios de uso concretos para departamentos de ventas, TI y finanzas, así como patrones de diseño para notificaciones, aprobaciones y flujos de trabajo de múltiples etapas con Quick Flows.Visualización de dashboards BI - Plataforma de decisiones basada en datos con Amazon QuickSightExplicamos la construcción de dashboards BI interactivos con Amazon QuickSight y una plataforma de análisis de datos serverless con integración Athena. Presentamos la visualización de alta velocidad con el motor SPICE y métodos prácticos para compartir insights en toda la organización.Construcción de redes blockchain - Aprovechamiento de libros mayores distribuidos con Amazon Managed Blockchain y QLDBExplicamos la construcción de redes blockchain con Amazon Managed Blockchain y el uso de Amazon QLDB como base de datos de libro mayor verificable. Presentamos casos de uso prácticos como gestión de cadena de suministro y transparencia en transacciones financieras.Colaboración de datos con preservación de privacidad con AWS Clean RoomsEjecute análisis conjuntos entre múltiples empresas sin compartir ni copiar datos. Aprenda sobre reglas de agregación para prevenir la identificación individual y Cryptographic Computing para análisis cifrado.Unificación de identidad de clientes - Resolución de entidades de datos de clientes dispersos con AWS Entity ResolutionResolución de entidades (name matching) de datos de clientes con AWS Entity Resolution. Matching basado en ML, matching basado en reglas, protección de privacidad e integración con Clean Rooms.Aprovechamiento de datos de terceros con AWS Data Exchange - Adquisición de datos y gestión de suscripcionesAdquiera productos de datos de terceros a través de Marketplace y construya pipelines de entrega automática a S3. También se presentan técnicas de productización y monetización de datos propios.Construcción de data lake con Amazon S3 y Lake Formation - Patrones de diseño y gobernanzaPatrones de diseño de data lake con S3 como base de almacenamiento y control de acceso granular con Lake Formation. También se explican pipelines ETL y optimización de costos.Gobernanza de data lake - Control de acceso centralizado con AWS Lake FormationConstrucción, control de acceso y gobernanza de data lake con AWS Lake Formation. Gestión granular de permisos a nivel de columna y fila para data lakes basados en S3, e integración con Glue y Athena.

Artículos y servicios similares

Amazon Managed Service for Apache FlinkServicio que ejecuta Apache Flink de forma completamente administrada, procesando datos de streaming en tiempo real desde Kinesis Data Streams o MSK con baja latenciaStreaming de datos en tiempo real - Procesamiento inmediato de datos con Amazon KinesisIngesta y procesa flujos de datos en tiempo real con Kinesis Data Streams y Data Firehose. Presentamos el diseño de shards, el procesamiento con Lambda y la entrega a destinos.Pipeline de datos en tiempo real con Amazon Kinesis - Diferenciación entre Data Streams y Data FirehoseIngeste datos en tiempo real con Data Streams y distribúyalos automáticamente a S3, Redshift y OpenSearch con Data Firehose. Explicamos cómo construir un pipeline de streaming con diseño de shards y diferenciación del modo bajo demanda.Diseño de procesamiento de datos en streaming - Construcción de pipelines de datos en tiempo real con KinesisExplicamos técnicas de diseño de procesamiento de datos en streaming con Amazon Kinesis, incluyendo la construcción de pipelines en tiempo real, la integración con Lambda y la entrega a S3.