AWS DataSync
自动化和加速本地与 AWS 之间或 AWS 服务间数据传输的服务，支持 NFS/SMB/HDFS/S3/EFS/FSx 间的定时传输
概述
AWS DataSync 是一项自动化本地存储系统与 AWS 存储服务之间或 AWS 存储服务之间数据传输的服务。支持从 NFS、SMB、HDFS 和对象存储传输，可传输到 S3、EFS、FSx for Windows File Server、FSx for Lustre、FSx for OpenZFS 和 FSx for NetApp ONTAP。专用网络协议实现比开源工具快最多 10 倍的传输速度。标准具备传输中数据验证、加密、带宽限制和定时执行功能。
代理部署与网络设计
从本地向 AWS 传输数据时，需要在本地环境部署 DataSync 代理。代理可作为 VMware ESXi、Microsoft Hyper-V 或 KVM 上的虚拟机运行，也可作为 Amazon EC2 实例运行。Basic 模式代理的虚拟机最低需要 4 vCPU、32 GB RAM，处理超过 2,000 万个文件或目录的任务时需要 64 GB RAM (截至 2026 年 10 月)。代理与 DataSync 通信的服务端点有公有、FIPS、VPC (PrivateLink) 和 FIPS VPC 四种，本地环境可通过 Direct Connect 或 VPN 连接 VPC 端点。带宽上限可按每次任务执行设置，执行中也可更改。同一账户内的 AWS 存储服务间传输 (如 S3 到 EFS) 无需代理，DataSync 以托管方式执行传输。
传输任务设计与数据完整性保证
DataSync 的任务由源位置、目标位置和传输设置三要素组成。传输设置中指定数据过滤 (include/exclude 模式)、文件元数据保留 (POSIX 权限、时间戳、所有者) 和覆盖策略 (仅传输变更文件或全部文件)。DataSync 在传输中通过校验和验证数据完整性，传输结束时的附加验证 (仅验证已传输数据、验证全部数据、不验证) 可按任务选择。数亿文件的大规模传输可能需要数小时到数天，但中断后下次执行仅传输差异，无需从头开始。设置定时执行后可自动化日频或周频的定期同步 (执行间隔最短 1 小时)。
按迁移场景的设计模式
DataSync 的典型用例有三种。第一是从本地 NFS/SMB 文件服务器迁移到 S3 或 EFS。首次全量复制后持续差异同步直到切换，最终同步后切换应用连接目标。文件数超过数千万时，可按目录拆分任务并行执行以缩短传输时间。第二是混合云中的持续数据同步。将本地生成的日志或传感器数据定期传输到 S3，用 Athena 或 EMR 分析是典型模式。第三是 AWS 区域间或账户间的数据传输。为 DR (灾难恢复) 将数据复制到另一区域的 S3 存储桶时，S3 跨区域复制无法处理的文件系统 (EFS、FSx) 数据传输可使用 DataSync。Transfer Family (SFTP/FTPS) 用于与外部合作伙伴交换文件，DataSync 则侧重于存储之间的大量数据传输和自动化。
参考资料（AWS 官方）
本页的第一手信息来源是 AWS 官方网站及官方文档。最新的规格与价格请以下列官方页面为准。
如本页内容与官方文档不一致，请以官方文档为准。