Aprovechamiento de datos de terceros con AWS Data Exchange - Adquisición de datos y gestión de suscripciones
Se adquieren productos de datos de terceros a través de Marketplace y se construye un pipeline de entrega automática a S3. También se presentan métodos para convertir en productos y monetizar los datos propios.
Funcionamiento de Data Exchange
AWS Data Exchange es un servicio que ofrece 3,500 o más productos de datos y adquiere / entrega conjuntos de datos de terceros en AWS. Funciona de manera que los proveedores de datos publican productos de datos y los consumidores de datos se suscriben a ellos, y está integrado con AWS Marketplace. Tradicionalmente, la adquisición de datos de terceros requería negociaciones contractuales individuales, el desarrollo de integraciones de API y la conversión de formatos de datos, pero en Data Exchange todo esto está estandarizado. Los datos se proporcionan en forma de archivos de S3, API, tablas de Amazon Redshift y tablas de AWS Lake Formation, y después de suscribirse puede acceder a ellos directamente dentro de su propia cuenta de AWS.
Adquisición de datos e ingesta automática
Se busca el conjunto de datos deseado en la categoría de datos de AWS Marketplace y se contrata una suscripción. También se ofrecen muchos conjuntos de datos gratuitos, por lo que puede empezar con una prueba. Cuando se publica una nueva revisión (versión actualizada) de un conjunto de datos al que está suscrito, se envía un evento a EventBridge. Puede construir un pipeline de ingesta automática en el que una función de Lambda recibe el evento y exporta a S3 los datos de la nueva revisión. Los datos entregados a S3 se pueden consultar directamente con Athena, transformar con Glue ETL y cargar en Redshift, o utilizar como datos de entrenamiento de SageMaker.
Publicación y monetización de productos de datos
También es posible publicar en Data Exchange los datos que posee su empresa y venderlos a través de AWS Marketplace. Un producto de datos se compone de conjuntos de datos, revisiones y activos (los archivos o API reales). Para la fijación de precios, puede elegir entre una suscripción (mensual/anual) y un pago por uso por revisión. Como AWS Marketplace se encarga de la gestión de contratos, la facturación y el procesamiento de pagos, los proveedores de datos pueden concentrarse en la calidad y la actualización de los datos. Antes de publicar, es necesario realizar comprobaciones de calidad de los datos y revisiones de privacidad, y verificar que no contienen información personal.
Precios de Data Exchange
El uso de Data Exchange en sí es gratuito, y el coste es el precio de los productos de datos a los que se suscribe. Los precios de los productos de datos los fija el proveedor, y se ofrece una amplia gama, desde conjuntos de datos gratuitos hasta datos premium de varios miles de dólares al mes. Por la exportación de datos a S3 no se cobran cargos adicionales, pero el almacenamiento de S3 se cobra por separado. Si publica productos como proveedor de datos, las comisiones de AWS Marketplace se descuentan como un porcentaje fijo de las ventas. Se recomienda un enfoque gradual: primero comprender el funcionamiento de Data Exchange con conjuntos de datos gratuitos y después considerar suscripciones de pago para los datos cuyo valor comercial se haya podido confirmar.
Formas de entrega de los productos de datos
Los productos de datos de Data Exchange tienen varias formas de entrega. La forma en la que se reciben los datos como archivos a través de S3 es adecuada para ingerir conjuntos de datos que se actualizan periódicamente. La forma en la que se consulta una API cada vez es adecuada cuando se desea consultar los valores más recientes en tiempo real. También existen formas que se pueden utilizar directamente desde un almacén de datos. Según la forma, cambian el mecanismo de ingesta, la frecuencia de actualización y la manera de incorporar los datos a las aplicaciones. Elegir productos con una forma de entrega fácil de manejar, teniendo en cuenta la naturaleza de los datos que desea utilizar y su compatibilidad con la plataforma de análisis de su empresa, conduce a un aprovechamiento fluido.
Gobernanza y calidad de los datos
Al utilizar datos adquiridos externamente, es importante comprobar su calidad y sus condiciones de uso. Se determina si el origen, la frecuencia de actualización y la cobertura de los datos son suficientes para el uso de su empresa. Las condiciones de la licencia establecen el alcance de uso permitido y si se permite la redistribución, por lo que se comprenden y se cumplen los términos del contrato. Se verifica que los datos ingeridos no tengan valores faltantes ni valores atípicos, y se comprueba su coherencia antes de cotejarlos con los datos de la empresa. En los análisis en los que la actualidad de los datos es importante, se conoce el momento de las actualizaciones y se evita tomar decisiones con datos antiguos. Incorporar la gestión de la calidad de los datos externos a las operaciones es la condición previa para un análisis fiable.
Integración en la plataforma de análisis
El valor de Data Exchange es que permite incorporar sin problemas los datos adquiridos al análisis de su empresa. Los productos en formato de archivo se pueden configurar para que se entreguen automáticamente a S3 cuando se actualizan, y la llegada puede servir para iniciar el procesamiento posterior. Si registra los datos ingeridos en un catálogo de datos, puede analizar de forma transversal los datos de su empresa y los datos externos desde motores de consulta como Athena. Al combinar información externa como datos de mercado, datos demográficos y datos meteorológicos con los datos de la empresa, surgen conocimientos que no se obtienen por separado. Construir un pipeline que automatice todo, desde la adquisición hasta el análisis, maximiza el efecto del aprovechamiento de los datos externos.
Consideraciones al ofrecer datos propios
Con Data Exchange, su empresa también puede pasar a ser la parte que ofrece como productos los datos que posee. Al convertir los datos en productos, se diseñan adecuadamente la gestión de los suscriptores y el control de permisos sobre quién puede acceder a qué alcance. Se procesan y anonimizan los datos para que los datos ofrecidos no contengan información personal ni información sensible, y se garantiza el cumplimiento normativo. También son necesarios un mecanismo para entregar de forma continua las actualizaciones de los datos y la indicación clara de las condiciones de uso. Aunque los datos se monetizan como un activo, ofrecerlos conlleva responsabilidad, por lo que establecer una organización que compagine el mantenimiento de la calidad con el cumplimiento de la ley es la condición para convertirse en un proveedor de confianza.
Resumen
Data Exchange es un servicio que estandariza la adquisición y la entrega de datos de terceros. Se integra con AWS Marketplace y entrega datos financieros, datos meteorológicos, datos geoespaciales y otros directamente a S3. Con las suscripciones a conjuntos de datos se reciben actualizaciones automáticas y se pueden analizar de inmediato con Athena o Redshift. También se puede utilizar para monetizar los datos propios como proveedor de datos.
Referencias (recursos oficiales de AWS)
Las fuentes primarias de esta página son el sitio web y la documentación oficiales de AWS. Consulta las páginas oficiales siguientes para conocer las especificaciones y los precios más recientes.
- AWS Data Exchange (página oficial)
- Amazon S3 (página oficial)
- Amazon Athena (página oficial)
- Documentación de AWS (oficial)
Si esta página y la documentación oficial difieren, prevalece la documentación oficial.