Primeros pasos con event streaming en Amazon MSK Serverless - Construcción de un entorno Kafka sin operaciones

Se presenta un método para construir con autenticación de IAM un entorno Kafka que no requiere gestión de clústeres y simplificar el event streaming mediante la integración con EventBridge Pipes.

Unos 7 min de lecturaÚltima actualización: 2026-10-31

Características de MSK Serverless

MSK Serverless es un entorno de Kafka en el que los usuarios no necesitan encargarse del aprovisionamiento, el escalado ni la aplicación de parches del clúster. Al crear un clúster se proporciona un endpoint de conexión, y se puede empezar a crear temas y a enviar y recibir datos desde los clientes de Kafka. No es necesario especificar el tipo de instancia de los brokers ni el número de nodos. Los límites de rendimiento son de 200 MBps por clúster y 5 MBps por partición para la entrada (ingress), y de 400 MBps por clúster y 10 MBps por partición para la salida (egress). En los clústeres aprovisionados se pueden personalizar con detalle los parámetros de configuración de Kafka (como retention.ms y max.message.bytes), pero en Serverless estos ajustes se gestionan automáticamente.

Autenticación de IAM y control de acceso

MSK Serverless usa la autenticación de IAM de forma estándar. Los clientes de Kafka se conectan a MSK con credenciales de AWS (roles de IAM), y el control de acceso a nivel de tema se configura con políticas de IAM. Es posible un control detallado que permite a un rol de IAM concreto solo leer y escribir en temas concretos. Deja de ser necesaria la gestión de nombres de usuario y contraseñas que requiere la autenticación SASL/SCRAM de los clústeres aprovisionados, e IAM también se encarga automáticamente de la rotación de las credenciales. En las conexiones desde funciones de Lambda o tareas de ECS, la autenticación se completa con solo conceder al rol de ejecución permisos de acceso a MSK.

Integración con EventBridge Pipes

EventBridge Pipes es un servicio que toma los temas de MSK como origen y los conecta directamente a destinos como Lambda, Step Functions, SQS y Kinesis Data Streams. Antes era necesario desarrollar y operar por cuenta propia las aplicaciones consumidoras de Kafka, pero con Pipes se pueden entregar eventos a los destinos sin escribir código de consumidor. El filtrado permite un procesamiento selectivo basado en las condiciones de los eventos, y con el enriquecimiento también se puede intercalar una transformación de datos mediante una función de Lambda. Con la combinación de MSK Serverless + EventBridge Pipes + Lambda se puede construir un pipeline de event streaming sin gestionar servidores.

Precios de MSK Serverless

El precio de MSK Serverless se compone de las horas de clúster, las horas de partición, el almacenamiento y la transferencia de datos. El clúster cuesta unos 0.75 USD por hora, y las particiones unos 0.0015 USD por hora de partición (a fecha de agosto de 2026). El almacenamiento cuesta unos 0.10 USD por GB al mes, y el tratamiento de los cargos de transferencia de datos se comprueba en la página de precios. En cuanto al coste, Serverless es un candidato para cargas de trabajo con tráfico intermitente, y el aprovisionado para entornos que funcionan con un rendimiento alto las 24 horas.

Elección entre Serverless y aprovisionado

MSK tiene dos modalidades, Serverless y aprovisionada, y se elige según la naturaleza de la carga de trabajo. Elegir Serverless es adecuado cuando el tráfico es intermitente y la demanda es difícil de prever, cuando se quiere minimizar el esfuerzo de operación o cuando se quiere seguir automáticamente un escalado repentino. Por otro lado, elegir el modo aprovisionado es adecuado cuando continúa un rendimiento alto de forma estable las 24 horas, cuando se quieren controlar ajustes detallados de Kafka o cuando se quieren ajustar los costes al uso. También existe la forma de empezar rápidamente con Serverless y estudiar el paso al modo aprovisionado una vez que se aclaran las características de la carga.

Diseño de temas y particiones

El rendimiento y la garantía de orden de Kafka se determinan con el diseño de los temas y las particiones. Como el orden de los mensajes se conserva dentro de una partición, los datos en los que el orden es importante se agrupan en la misma partición con una clave adecuada. Aumentar el número de particiones permite elevar el rendimiento mediante el procesamiento en paralelo, pero se necesita un equilibrio con la configuración del lado del consumidor. Con los grupos de consumidores, varios procesos pueden repartirse las particiones y consumirlas en paralelo. Como un diseño de claves desequilibrado concentra la carga en particiones concretas, elegir claves que distribuyan los datos de forma uniforme es la condición previa para un procesamiento estable.

Implementación de productores y consumidores

Como MSK es compatible con Kafka, se pueden usar tal cual las bibliotecas de cliente de Kafka existentes. En las configuraciones orientadas a serverless, es posible suscribirse directamente a los temas de MSK con los mapeos de origen de eventos de Lambda y ahorrar la operación de las aplicaciones consumidoras. Si se quiere unificar la estructura de los mensajes en la organización, se combina con Glue Schema Registry y se gestiona la compatibilidad manteniendo la coherencia de los esquemas. En el lado del productor, se configuran el envío por lotes y la compresión de los mensajes para elevar el rendimiento y la eficiencia. Como la autenticación se completa con roles de IAM, la gestión de la información de conexión se simplifica.

Supervisión y operación

El estado del event streaming se mide por el retraso de los consumidores (la cantidad de mensajes sin procesar acumulados). Si el retraso sigue aumentando, el lado consumidor no alcanza al lado productor, por lo que se revisan el paralelismo de los consumidores y el número de particiones. Con las métricas de CloudWatch se supervisan el rendimiento, el estado de las particiones y los errores, y se detectan anomalías con alertas. Como Serverless tiene límites de rendimiento y de número de particiones, en la fase de diseño se comprueba si la carga prevista cabe dentro de ellos. Si también se deciden de antemano el periodo de retención de los mensajes y el tratamiento de los fallos de procesamiento, la operación se estabiliza.

Resumen

MSK Serverless es un servicio que deja en manos de AWS la gestión de los clústeres de Kafka y permite centrarse en la construcción del event streaming. La autenticación de IAM simplifica la gestión de las credenciales, y EventBridge Pipes reduce el desarrollo de consumidores. Manteniendo la compatibilidad con el ecosistema de Kafka, se puede adoptar una forma de operación que no gestiona servidores.

Referencias (recursos oficiales de AWS)

Las fuentes primarias de esta página son el sitio web y la documentación oficiales de AWS. Consulta las páginas oficiales siguientes para conocer las especificaciones y los precios más recientes.

Si esta página y la documentación oficial difieren, prevalece la documentación oficial.

Uso práctico de Amazon Quick - Casos de uso por departamento y patrones de diseño para la automatización de flujos de trabajoPresentamos de forma concreta escenarios de uso para cada departamento, como ventas / TI / finanzas, y patrones de diseño de flujos de trabajo de notificación / aprobación / varias etapas con Quick Flows.Visualización de dashboards BI - Plataforma de decisiones basada en datos con Amazon Quick SightExplicamos la construcción de dashboards BI interactivos con Amazon Quick Sight (antes Amazon QuickSight) y una plataforma de análisis de datos serverless con integración Athena. Presentamos la visualización de alta velocidad con el motor SPICE y métodos prácticos para compartir insights en toda la organización.Construcción de redes blockchain - Amazon Managed Blockchain y la migración desde QLDB (descontinuado)Explicamos la construcción de redes blockchain con Amazon Managed Blockchain, el papel de Amazon QLDB (descontinuado el 31-07-2025) y su ruta oficial de migración a Aurora PostgreSQL.Colaboración de datos con preservación de privacidad con AWS Clean RoomsEjecute análisis conjuntos entre múltiples empresas sin compartir ni copiar datos. Aprenda sobre reglas de agregación para prevenir la identificación individual y Cryptographic Computing para análisis cifrado.Unificación de identidades de clientes - Cotejo de datos de clientes dispersos con AWS Entity ResolutionSe explica el cotejo de registros de datos de clientes (resolución de entidades) con AWS Entity Resolution. Se presentan los tres flujos de trabajo de coincidencia (basado en reglas, basado en ML y basado en servicios de proveedores), el mapeo de ID, los precios, la protección de la privacidad y la integración con Clean Rooms.Aprovechamiento de datos de terceros con AWS Data Exchange - Adquisición de datos y gestión de suscripcionesSe adquieren productos de datos de terceros a través de Marketplace y se construye un pipeline de entrega automática a S3. También se presentan métodos para convertir en productos y monetizar los datos propios.Construcción de un data lake con Amazon S3 y Lake Formation - Patrones de diseño y gobernanzaSe presentan patrones de diseño de data lake que usan S3 como base de almacenamiento y logran un control de acceso detallado con Lake Formation. También se explican los pipelines ETL y la optimización de costes.Gobernanza de data lake - Control de acceso centralizado con AWS Lake FormationConstrucción, control de acceso y gobernanza de data lake con AWS Lake Formation. Gestión granular de permisos a nivel de columna y fila para data lakes basados en S3, e integración con Glue y Athena.