通过 AWS DataSync 加速数据传输 - 从本地到 S3 和 EFS 的迁移
自动化从本地到 S3 和 EFS 的高速数据传输。介绍代理部署、任务调度和传输数据的完整性验证。
DataSync 概述
DataSync 是自动化和加速本地与 AWS 之间数据传输的服务。传输协议经过专有优化。支持从本地 NFS/SMB 文件服务器向 S3、EFS、FSx for Windows、FSx for Lustre、FSx for OpenZFS 传输数据。还支持 HDFS (Hadoop Distributed File System) 的数据迁移，可用于大数据平台的云迁移。
代理与任务设计
在本地部署 DataSync 代理 (VMware ESXi、Hyper-V、KVM 的虚拟机)，连接到源存储。代理 VM 有 CPU 和内存方面的要求。也可以通过添加代理实现横向扩展。在任务中指定源位置 (本地 NFS) 和目标位置 (S3 存储桶)，设置传输选项 (文件元数据保留、排除过滤器、带宽限制)。元数据保留选项可在目标保持 POSIX 权限、时间戳、UID/GID。通过计划执行自动化每日差异传输，可持续同步本地与 AWS 的数据。传输完成后自动验证数据完整性，如有校验和不匹配则会报告。
AWS 间传输与调度
DataSync 也支持 AWS 服务间的数据传输。可无需代理执行 S3 存储桶间、EFS 间、FSx 间、S3 到 EFS 的传输。还支持跨账户和跨区域传输，可用于 DR 环境的数据复制。通过任务调度自动化定期传输，以每日或每周的增量传输同步数据。通过传输过滤器根据文件名模式或更新时间筛选传输对象，避免不必要数据的传输。通过 EventBridge 集成，可构建以任务完成或失败为触发器的自动化工作流，例如启动 Glue 作业、执行 Lambda 函数或发送 SNS 通知。可以通过 CloudWatch 监控任务的执行状况。
与其他数据传输方式的比较
AWS 提供多种数据传输选项，根据数据量和需求分别使用。DataSync 适合通过网络进行持续同步和迁移，具备仅传输变更数据的增量传输和自动完整性验证。AWS Transfer Family (SFTP/FTPS/FTP) 适合合作伙伴集成和与旧系统的文件交换，可在不更改现有 SFTP 工作流的情况下实现云化，但不适合大量数据的批量迁移。S3 复制 (CRR/SRR) 提供存储桶间的对象级复制，写入时自动复制，但不能用于本地到 AWS 的传输。新客户已无法订购 AWS Snow Family 的设备 (目前使用 Snowball Edge 的客户不受影响)。新客户被引导使用 DataSync 进行在线传输。
设计最佳实践与注意点
部署 DataSync 时需要注意的关键点。第一，带宽限制 (bandwidth throttle) 的设置。在与生产网络共享的线路上运行 DataSync 时，工作时间限制带宽，夜间安排全速传输，减少对业务流量的影响。第二，目标 S3 存储类的选择。DataSync 可将数据直接传输到指定的 S3 存储类，不常访问的归档数据放在 S3 Glacier Instant Retrieval 中可降低存储成本。第三，传输大量小文件 (数百万个文件) 时，每任务开销增加，按目录拆分任务并行执行有助于提高吞吐量。第四，安全性与合规。传输中的数据通过 TLS 加密，但 DataSync 无法访问使用 SSE-C 加密的 S3 存储桶。使用 VPC 端点 (PrivateLink) 可确保代理与 AWS 之间的通信不经过公共互联网。IAM 策略可细粒度控制任务执行权限，CloudTrail 记录 API 调用。DataSync 符合 HIPAA、PCI DSS、SOC 1/2/3 要求，可用于受监管行业的数据迁移。
DataSync 的费用
DataSync 的费用取决于复制的数据量等因素。从本地传输需要代理运行环境 (VM)，但代理本身不产生额外费用。传输目标的存储费用 (S3、EFS、FSx) 另行产生。通过差异传输仅传输已更改的文件，可减少数据量。设置带宽限制不影响按数据量计算的费用。
总结
DataSync 是加速和自动化从本地到 AWS 以及 AWS 服务间数据传输的服务。通过差异传输高效同步仅已更改的文件。支持包括 HDFS 在内的多种数据源，以及通过 VPC 端点的安全传输。利用带宽限制，可配合迁移场景进行传输。
参考资料（AWS 官方）
本页的第一手信息来源是 AWS 官方网站及官方文档。最新的规格与价格请以下列官方页面为准。
如本页内容与官方文档不一致，请以官方文档为准。