AWS Snow 系列的离线数据传输与边缘计算

整理 Snowcone/Snowball Edge/Snowmobile 的设备选择标准,介绍边缘 EC2/Lambda 执行和大规模数据迁移的规划方法。

Snow 系列的设备选择

Snow 系列是通过物理设备将网络传输困难的大容量数据迁移到 AWS 的服务。即使 1 Gbps 专线传输 1 PB 也需约 100 天,PB 级别下离线传输是现实选择。Snowcone (8 TB HDD / 14 TB SSD) 是最小设备,重量 2.1 kg 便携尺寸,适合带宽有限的远程地点数据采集。Snowball Edge Storage Optimized (80 TB) 最适合大容量数据迁移,10 TB 以上时比网络传输更快且成本更低。Snowball Edge Compute Optimized 搭载 104 vCPU 和 GPU,支持边缘机器学习推理和数据预处理。超过 100 PB 的超大规模迁移可用 Snowmobile (100 PB)。

数据传输工作流

数据传输工作流从 AWS 控制台创建作业并接收配送的设备开始。将设备连接到本地网络后,使用 Snowball 客户端、OpsHub GUI 或 S3 兼容 API 复制数据。Snowball Edge 还提供 NFS 挂载点,可从现有备份工具和文件复制工具无缝传输数据。数据复制完成后将设备寄回 AWS,AWS 将数据导入指定的 S3 存储桶。并行使用多个设备,PB 规模的迁移也可在数周内完成。传输完成后设备按 NIST 800-88 标准擦除数据。

边缘计算的活用

Snowball Edge Compute Optimized 可在边缘位置运行 EC2 兼容实例和 Lambda 函数。典型用例是在工厂生产线执行图像检查,结果保存在本地,连接恢复时同步到 S3。在船舶或矿山等互联网连接断续的环境中也可继续计算。通过 S3 兼容 API 读写数据,可将云中开发的应用直接部署到边缘。还可与 AWS IoT Greengrass 集成,组合 IoT 设备数据采集和边缘处理。Snowcone 支持 IoT Greengrass,可作为边缘设备常设在远程站点。 要系统学习 Snow 系列,可参考相关书籍 (Amazon)

与 DataSync 组合的混合迁移

AWS DataSync 自动化本地存储与 AWS 存储服务间的数据传输,与 Snow Family 组合的混合迁移策略非常有效。初次大规模数据迁移用 Snow Family 执行,之后的差异数据通过 DataSync 在网络上持续同步。DataSync 支持 NFS、SMB、HDFS、对象存储等多种协议,可传输到 S3、EFSFSx for Windows File Server。传输中的数据验证 (校验和比对) 保证数据完整性。带宽限制设置可控制业务时间的网络负载,计划执行可自动化定期差异同步,保持本地与云端数据始终最新。

安全性与合规性

Snow Family 设备具备企业级安全功能。静态数据通过 256 位加密 (AES-256) 保护,加密密钥由 AWS KMS 管理。搭载 Trusted Platform Module (TPM) 检测物理篡改,未授权访问时自动锁定设备。GPS 追踪可实时监控配送状态,E Ink 显示屏用于自动更新配送标签。符合 HIPAA、PCI DSS、FedRAMP 等合规要求,适用于受监管行业的数据迁移。IAM 策略可细粒度控制作业创建和设备访问权限。

Snow 系列的费用

Snow 系列按设备使用天数计费。Snowcone 每天约 60 美元,Snowball Edge Storage Optimized 约 300 美元。配送费用另行产生,因区域而异。设备使用期限通常包含 10 天,超过部分按日额计费。数据导入 S3 免费,从 S3 导出则产生数据传输费。使用 Snowball Edge 迁移 100 TB 数据,设备和配送费合计约 5,000-6,000 美元,低于同量网络传输费 (约 9,000 美元)。

总结

Snow 系列提供网络传输不现实时的大规模数据迁移,以及连接受限边缘环境中的计算能力。根据数据量选择 Snowcone (8-14 TB)、Snowball Edge (80-210 TB) 或 Snowmobile (100 PB),通过边缘计算在离线环境运行 EC2 和 Lambda。与 DataSync 组合实现初次大规模迁移和持续差异同步的混合策略,AES-256 加密和 TPM 篡改检测确保企业级安全。