Aceleración de transferencia de datos con AWS DataSync - Migración de on-premises a S3 y EFS
Automatiza la transferencia de datos de alta velocidad desde on-premises a S3 y EFS. Presentamos el despliegue de agentes, la programación de tareas y la verificación de integridad de los datos transferidos.
Descripción general de DataSync
DataSync es un servicio que automatiza y acelera la transferencia de datos entre entornos on-premises y AWS. El protocolo de transferencia utiliza optimizaciones propietarias. Soporta transferencias desde servidores de archivos NFS/SMB on-premises a S3, EFS, FSx for Windows, FSx for Lustre y FSx for OpenZFS. También soporta la migración de datos desde HDFS (Hadoop Distributed File System), siendo adecuado para migrar plataformas de big data a la nube.
Diseño de agentes y tareas
Se despliega un agente de DataSync (máquina virtual en VMware ESXi, Hyper-V o KVM) en el entorno on-premises y se conecta al almacenamiento de origen. La VM del agente tiene requisitos de CPU y memoria. También se pueden desplegar agentes adicionales para escalar horizontalmente. En la tarea se especifica la ubicación de origen (NFS on-premises) y la ubicación de destino (bucket S3), y se configuran las opciones de transferencia (preservación de metadatos de archivos, filtros de exclusión, límite de ancho de banda). La opción de preservación de metadatos mantiene permisos POSIX, marcas de tiempo y UID/GID en el destino. La ejecución programada automatiza la transferencia diferencial diaria, permitiendo sincronizar continuamente los datos entre on-premises y AWS. Tras completar la transferencia, la integridad de los datos se verifica automáticamente y se reporta cualquier discrepancia en los checksums.
Transferencia entre servicios AWS y programación
DataSync también soporta la transferencia de datos entre servicios de AWS. Se pueden ejecutar transferencias entre buckets S3, entre sistemas EFS, entre sistemas FSx y de S3 a EFS sin necesidad de agente. También es compatible con transferencias entre cuentas y entre regiones, siendo útil para la replicación de datos en entornos de recuperación ante desastres. La programación de tareas automatiza las transferencias periódicas, sincronizando datos mediante transferencias incrementales diarias o semanales. Los filtros de transferencia permiten delimitar los objetos de transferencia según patrones de nombre de archivo o fecha de actualización, evitando la transferencia de datos innecesarios. La integración con EventBridge permite construir flujos de trabajo automatizados disparados por la finalización o fallo de tareas, como lanzar trabajos de Glue, ejecutar funciones Lambda o enviar notificaciones SNS. El estado de ejecución de las tareas se puede monitorear con CloudWatch.
Comparación con otros métodos de transferencia de datos
AWS ofrece múltiples opciones de transferencia de datos, que se eligen según el volumen de datos y los requisitos. DataSync es adecuado para la sincronización y migración continua por red, con transferencia incremental solo de datos modificados y verificación automática de integridad. AWS Transfer Family (SFTP/FTPS/FTP) es adecuado para integraciones con socios e intercambio de archivos con sistemas legacy, permitiendo la migración a la nube sin cambiar flujos de trabajo SFTP existentes, pero no está diseñado para migración masiva de datos. S3 Replication (CRR/SRR) proporciona replicación a nivel de objeto entre buckets que copia automáticamente al escribir, pero no puede usarse para transferencias de on-premises a AWS. Los nuevos clientes ya no pueden pedir dispositivos de AWS Snow Family (los clientes que usan Snowball Edge actualmente no se ven afectados). A los nuevos clientes se les indica DataSync para las transferencias en línea.
Mejores prácticas de diseño y consideraciones
Puntos clave a considerar al desplegar DataSync. Primero, la configuración del límite de ancho de banda (bandwidth throttle). Al ejecutar DataSync en una red compartida con tráfico de producción, limite el ancho de banda durante el horario laboral y programe transferencias a velocidad completa por la noche para limitar el impacto en el tráfico de negocio. Segundo, la selección de la clase de almacenamiento S3 de destino. DataSync puede transferir datos directamente a una clase de almacenamiento de S3 específica, y colocar los datos de archivo de acceso infrecuente en S3 Glacier Instant Retrieval reduce el costo de almacenamiento. Tercero, al transferir grandes cantidades de archivos pequeños (millones de archivos), el overhead por tarea aumenta, así que dividir tareas por directorio y ejecutarlas en paralelo facilita aumentar el throughput. Cuarto, seguridad y cumplimiento. Los datos en tránsito se cifran con TLS, pero DataSync no puede acceder a los buckets de S3 cifrados con SSE-C. Usar VPC endpoints (PrivateLink) asegura que la comunicación entre agente y AWS no atraviese internet público. Las políticas IAM proporcionan control granular sobre los permisos de ejecución de tareas, y CloudTrail registra las llamadas API. DataSync cumple con HIPAA, PCI DSS y SOC 1/2/3, permitiendo su uso en industrias reguladas.
Precios de DataSync
Los precios de DataSync dependen de factores como la cantidad de datos copiados. Para transferencias desde on-premises se requiere un entorno de ejecución del agente (VM), pero el agente en sí no genera cargos adicionales. Los costos de almacenamiento del destino (S3, EFS, FSx) se cobran por separado. La transferencia diferencial transfiere solo los archivos modificados, lo que reduce el volumen de datos. Configurar el límite de ancho de banda no afecta la facturación por volumen de datos.
Resumen
DataSync es un servicio que acelera y automatiza la transferencia de datos desde on-premises a AWS y entre servicios de AWS. La transferencia diferencial sincroniza eficientemente solo los archivos modificados. Soporta diversas fuentes incluyendo HDFS y transferencias seguras a través de VPC endpoints. El límite de ancho de banda permite adaptar las transferencias a cada escenario de migración.
Referencias (recursos oficiales de AWS)
Las fuentes primarias de esta página son el sitio web y la documentación oficiales de AWS. Consulta las páginas oficiales siguientes para conocer las especificaciones y los precios más recientes.
- AWS DataSync (página oficial)
- Amazon S3 (página oficial)
- Amazon EFS (página oficial)
- Documentación de AWS (oficial)
Si esta página y la documentación oficial difieren, prevalece la documentación oficial.