Análisis y búsqueda

Streaming de datos en tiempo real - Procesamiento inmediato de datos con Amazon Kinesis

Ingesta y procesa flujos de datos en tiempo real con Kinesis Data Streams y Data Firehose. Presentamos el diseño de shards, el procesamiento con Lambda y la entrega a destinos.

約 3 分で読めます

Descripción general de Kinesis

Amazon Kinesis es una familia de servicios para recopilar, procesar y analizar datos de streaming en tiempo real. Kinesis Data Streams ingesta datos a escala con latencia de milisegundos. Kinesis Data Firehose entrega datos de streaming a destinos como S3, Redshift, OpenSearch y Splunk sin necesidad de código. Kinesis Data Analytics procesa streams con SQL o Apache Flink. Juntos permiten construir pipelines de datos en tiempo real completos.

Kinesis Data Streams y diseño de shards

Data Streams es el servicio core de ingesta. Un stream se compone de shards, cada uno con capacidad de 1 MB/s de escritura y 2 MB/s de lectura. El número de shards determina la capacidad total del stream. La partition key distribuye los registros entre shards: registros con la misma key van al mismo shard, garantizando orden dentro de la partición. El modo On-Demand escala automáticamente los shards según el tráfico, eliminando la necesidad de planificación de capacidad. El modo Provisioned permite control manual para cargas predecibles. La retención de datos es configurable de 24 horas a 365 días.

Procesamiento y entrega

Los consumidores procesan registros del stream. Lambda se integra nativamente como consumidor, invocándose automáticamente con batches de registros. KCL (Kinesis Client Library) permite construir aplicaciones consumidoras personalizadas con checkpointing automático. Enhanced Fan-Out proporciona 2 MB/s dedicados por consumidor, eliminando la contención entre múltiples consumidores. Data Firehose simplifica la entrega a destinos sin código: bufferea registros por tiempo o tamaño, opcionalmente transforma con Lambda, comprime y entrega a S3, Redshift, OpenSearch o endpoints HTTP. La transformación en tránsito permite filtrar, enriquecer o convertir formatos antes de la entrega. Para profundizar en streaming de datos, consulte libros relacionados en Amazon.

Precios de Kinesis

Data Streams en modo On-Demand cobra por GB de datos escritos (0.08 dólares/GB) y por hora de stream (0.04 dólares/shard-hora equivalente). En modo Provisioned cobra por shard-hora (0.015 dólares) y por unidad PUT (25KB). Data Firehose cobra por GB de datos ingestados (0.029 dólares/GB para S3). La retención extendida más allá de 24 horas tiene cargos adicionales. Enhanced Fan-Out cobra por consumidor-shard-hora y por GB leído.

Resumen

Amazon Kinesis proporciona ingesta y procesamiento de datos de streaming en tiempo real. Data Streams ofrece ingesta escalable con latencia de milisegundos, Data Firehose simplifica la entrega a destinos sin código, y Data Analytics permite procesamiento con SQL o Flink. Es adecuado para logs en tiempo real, métricas de IoT, clickstream analytics y cualquier caso de uso que requiera procesamiento inmediato de datos continuos.

Servicios relacionados

Amazon KinesisServicio para recopilar, procesar y analizar datos de streaming en tiempo realAWS LambdaServicio de computación serverless que ejecuta código sin gestión de servidores

Artículos relacionados

Diseño de procesamiento de datos en streaming - Construcción de pipelines de datos en tiempo real con KinesisExplicamos técnicas de diseño de procesamiento de datos en streaming con Amazon Kinesis, incluyendo la construcción de pipelines en tiempo real, la integración con Lambda y la entrega a S3.Streaming Kafka gestionado - Pipeline de datos en tiempo real a gran escala con Amazon MSKSe explica la construcción de un clúster Kafka completamente gestionado con Amazon MSK (Managed Streaming for Apache Kafka) y la diferenciación con Kinesis. Se presentan patrones de diseño de infraestructura de streaming de datos en tiempo real a gran escala.Pipeline de datos en tiempo real con Amazon Kinesis - Diferenciación entre Data Streams y Data FirehoseIngeste datos en tiempo real con Data Streams y distribúyalos automáticamente a S3, Redshift y OpenSearch con Data Firehose. Explicamos cómo construir un pipeline de streaming con diseño de shards y diferenciación del modo bajo demanda.

Más sobre este tema

Uso práctico de Amazon Quick - Casos de uso por departamento y patrones de diseño para automatización de flujos de trabajoPresentamos escenarios de uso concretos para departamentos de ventas, TI y finanzas, así como patrones de diseño para notificaciones, aprobaciones y flujos de trabajo de múltiples etapas con Quick Flows.Visualización de dashboards BI - Plataforma de decisiones basada en datos con Amazon QuickSightExplicamos la construcción de dashboards BI interactivos con Amazon QuickSight y una plataforma de análisis de datos serverless con integración Athena. Presentamos la visualización de alta velocidad con el motor SPICE y métodos prácticos para compartir insights en toda la organización.Construcción de redes blockchain - Aprovechamiento de libros mayores distribuidos con Amazon Managed Blockchain y QLDBExplicamos la construcción de redes blockchain con Amazon Managed Blockchain y el uso de Amazon QLDB como base de datos de libro mayor verificable. Presentamos casos de uso prácticos como gestión de cadena de suministro y transparencia en transacciones financieras.Colaboración de datos con preservación de privacidad con AWS Clean RoomsEjecute análisis conjuntos entre múltiples empresas sin compartir ni copiar datos. Aprenda sobre reglas de agregación para prevenir la identificación individual y Cryptographic Computing para análisis cifrado.Unificación de identidad de clientes - Resolución de entidades de datos de clientes dispersos con AWS Entity ResolutionResolución de entidades (name matching) de datos de clientes con AWS Entity Resolution. Matching basado en ML, matching basado en reglas, protección de privacidad e integración con Clean Rooms.Aprovechamiento de datos de terceros con AWS Data Exchange - Adquisición de datos y gestión de suscripcionesAdquiera productos de datos de terceros a través de Marketplace y construya pipelines de entrega automática a S3. También se presentan técnicas de productización y monetización de datos propios.Construcción de data lake con Amazon S3 y Lake Formation - Patrones de diseño y gobernanzaPatrones de diseño de data lake con S3 como base de almacenamiento y control de acceso granular con Lake Formation. También se explican pipelines ETL y optimización de costos.Gobernanza de data lake - Control de acceso centralizado con AWS Lake FormationConstrucción, control de acceso y gobernanza de data lake con AWS Lake Formation. Gestión granular de permisos a nivel de columna y fila para data lakes basados en S3, e integración con Glue y Athena.

Artículos y servicios similares

Pipeline de datos en tiempo real con Amazon Kinesis - Diferenciación entre Data Streams y Data FirehoseIngeste datos en tiempo real con Data Streams y distribúyalos automáticamente a S3, Redshift y OpenSearch con Data Firehose. Explicamos cómo construir un pipeline de streaming con diseño de shards y diferenciación del modo bajo demanda.Diseño de procesamiento de datos en streaming - Construcción de pipelines de datos en tiempo real con KinesisExplicamos técnicas de diseño de procesamiento de datos en streaming con Amazon Kinesis, incluyendo la construcción de pipelines en tiempo real, la integración con Lambda y la entrega a S3.Amazon KinesisFamilia de servicios de streaming de datos completamente administrados que permite recopilar, procesar y analizar grandes volúmenes de datos en streaming en tiempo realProcesamiento de streams en tiempo real con Amazon Managed Service for Apache Flink - Procesamiento con estado y agregación por ventanasSe ejecuta procesamiento de streams en tiempo real mediante aplicaciones SQL o Java/Python en un entorno completamente gestionado de Apache Flink. Se explican los patrones de diseño de agregación por ventanas, detección de patrones e integración con Kinesis/MSK.