Amazon Kinesis のアイコン

Amazon Kinesis Popular2013年〜

Servicio para recopilar, procesar y analizar datos de streaming en tiempo real

Unos 2 min de lectura

Qué hace

Amazon Kinesis es una familia de servicios para recopilar, procesar y analizar datos de streaming en tiempo real a escala. Kinesis Data Streams maneja la recopilación y procesamiento de datos de stream, Kinesis Data Firehose entrega datos de stream a S3, Redshift y otros destinos, y Kinesis Data Analytics proporciona análisis basado en SQL/Flink de datos de stream.

Casos de uso

Se utiliza para procesamiento en tiempo real de datos de sensores de dispositivos IoT, análisis de clickstream de sitios web, agregación y análisis de logs en tiempo real, monitorización de transacciones financieras en tiempo real y análisis de comportamiento de jugadores de juegos.

Analogía cotidiana

Es como una cinta transportadora. Los productos (datos) que fluyen continuamente desde una fábrica (fuente de datos) se transportan en una cinta (stream), donde se someten a inspección (procesamiento), clasificación (análisis) y empaquetado (almacenamiento) de forma secuencial.

¿Qué es Kinesis?

Amazon Kinesis es una familia de servicios para procesamiento de datos en tiempo real. Mientras que el procesamiento por lotes 'acumula datos y los procesa todos a la vez', Kinesis permite el procesamiento de streams que 'procesa los datos en el momento en que se generan'. Tiene la escalabilidad para manejar millones de registros por segundo.

Kinesis Data Streams y Firehose

Kinesis Data Streams es un servicio para procesar datos de stream con aplicaciones personalizadas. Se controla el rendimiento ajustando el número de shards y se procesan los datos con Lambda o consumidores personalizados. Kinesis Data Firehose es un servicio que entrega automáticamente datos de stream a S3, Redshift, OpenSearch, Splunk y más. Puede configurar la transformación y entrega de datos sin escribir código. Para profundizar en el conocimiento práctico de Kinesis Data Streams y Firehose, los libros técnicos en Amazon son útiles.

Primeros pasos

Seleccione 'Crear data stream' en la consola de Kinesis y especifique un nombre de stream y modo de capacidad (bajo demanda o aprovisionado). Envíe datos usando la API PutRecord del SDK de AWS y configure Lambda como consumidor para completar su pipeline de procesamiento en tiempo real. Con Firehose, puede acumular datos en S3 sin escribir código.

Aspectos a tener en cuenta

  • El período de retención de Data Streams es de 24 horas por defecto y se puede extender hasta 365 días, pero los costos aumentan con una retención más larga
  • Elija Firehose para entrega simple de datos, y Data Streams cuando se necesite procesamiento personalizado
共有するXB!

Servicios relacionados

AWS Lambda iconoAWS LambdaServicio de computación serverless que ejecuta código sin gestión de servidoresAmazon S3 iconoAmazon S3Servicio de almacenamiento de objetos escalableAmazon Redshift iconoAmazon RedshiftServicio de almacén de datos en la nube para análisis de alta velocidad sobre datos a escala de petabytesAmazon Managed Service for Apache Flink iconoAmazon Managed Service for Apache FlinkServicio administrado de procesamiento de streams para ejecutar aplicaciones Apache Flink

Artículos relacionados

Construcción de redes blockchain - Aprovechamiento de libros mayores distribuidos con Amazon Managed Blockchain y QLDBExplicamos la construcción de redes blockchain con Amazon Managed Blockchain y el uso de Amazon QLDB como base de datos de libro mayor verificable. Presentamos casos de uso prácticos como gestión de cadena de suministro y transparencia en transacciones financieras.Pipeline de datos en tiempo real con Amazon Kinesis - Diferenciación entre Data Streams y Data FirehoseIngeste datos en tiempo real con Data Streams y distribúyalos automáticamente a S3, Redshift y OpenSearch con Data Firehose. Explicamos cómo construir un pipeline de streaming con diseño de shards y diferenciación del modo bajo demanda.Procesamiento de streams en tiempo real con Amazon Managed Service for Apache Flink - Procesamiento con estado y agregación por ventanasSe ejecuta procesamiento de streams en tiempo real mediante aplicaciones SQL o Java/Python en un entorno completamente gestionado de Apache Flink. Se explican los patrones de diseño de agregación por ventanas, detección de patrones e integración con Kinesis/MSK.Streaming Kafka gestionado - Pipeline de datos en tiempo real a gran escala con Amazon MSKSe explica la construcción de un clúster Kafka completamente gestionado con Amazon MSK (Managed Streaming for Apache Kafka) y la diferenciación con Kinesis. Se presentan patrones de diseño de infraestructura de streaming de datos en tiempo real a gran escala.Comunicación de marketing - Engagement multicanal con clientes mediante Amazon PinpointSe explica la construcción de marketing multicanal con Amazon Pinpoint y la optimización de la entrega de correo electrónico con la integración de SES. Se presentan metodologías prácticas de estrategia de engagement con clientes integrando notificaciones push, SMS, correo electrónico y voz.

Más en esta categoría

Amazon Athena iconoAmazon Athena PopularUn servicio de consultas serverless que permite analizar datos en S3 usando SQL estándarAWS Clean Rooms iconoAWS Clean Rooms Nuevo servicioUn servicio de colaboración de datos con protección de privacidad que permite a múltiples empresas realizar análisis conjuntos sin compartir datosAWS Data Exchange iconoAWS Data Exchange EspecializadoUn marketplace de datos que permite buscar, suscribirse y utilizar fácilmente datasets de tercerosAmazon DataZone iconoAmazon DataZone Nuevo servicioUn servicio de gestión de datos que integra descubrimiento, compartición y gobernanza de datosAmazon EMR iconoAmazon EMR EspecializadoUn servicio administrado para ejecutar frameworks de big data como Apache Spark, Hive y PrestoAmazon EMR Serverless iconoAmazon EMR Serverless EspecializadoUn servicio sin servidor para ejecutar trabajos de Spark y Hive sin gestión de clústeresAWS Entity Resolution iconoAWS Entity Resolution NuevoUn servicio de coincidencia de datos que reconcilia y unifica registros de diferentes fuentes de datosAWS Glue iconoAWS Glue PopularUn servicio ETL sin servidor que automatiza la extracción, transformación y carga de datos

Artículos y servicios similares

Streaming de datos en tiempo real - Procesamiento inmediato de datos con Amazon KinesisIngesta y procesa flujos de datos en tiempo real con Kinesis Data Streams y Data Firehose. Presentamos el diseño de shards, el procesamiento con Lambda y la entrega a destinos.Diseño de procesamiento de datos en streaming - Construcción de pipelines de datos en tiempo real con KinesisExplicamos técnicas de diseño de procesamiento de datos en streaming con Amazon Kinesis, incluyendo la construcción de pipelines en tiempo real, la integración con Lambda y la entrega a S3.Pipeline de datos en tiempo real con Amazon Kinesis - Diferenciación entre Data Streams y Data FirehoseIngeste datos en tiempo real con Data Streams y distribúyalos automáticamente a S3, Redshift y OpenSearch con Data Firehose. Explicamos cómo construir un pipeline de streaming con diseño de shards y diferenciación del modo bajo demanda.Amazon KinesisFamilia de servicios de streaming de datos completamente administrados que permite recopilar, procesar y analizar grandes volúmenes de datos en streaming en tiempo realProcesamiento de streams en tiempo real con Amazon Managed Service for Apache Flink - Procesamiento con estado y agregación por ventanasSe ejecuta procesamiento de streams en tiempo real mediante aplicaciones SQL o Java/Python en un entorno completamente gestionado de Apache Flink. Se explican los patrones de diseño de agregación por ventanas, detección de patrones e integración con Kinesis/MSK.