AWS Snow Family
使用 Snowcone、Snowball Edge、Snowmobile 物理设备,将通过网络传输不现实的大规模数据迁移到 AWS 并支持边缘计算的服务系列
概述
AWS Snow Family 是通过物理设备提供离线数据传输和边缘计算的服务系列。包含 Snowcone(8-14 TB)、Snowball Edge(80-210 TB)、Snowmobile(100 PB)三种类型,适用于网络带宽有限的环境或 PB 级数据迁移。设备上可运行 EC2 实例和 Lambda 函数的边缘计算功能,即使在无互联网连接的环境中也能进行数据处理。
三种设备与选型标准
Snowcone 是最小的设备,重量 2.1 kg,可电池驱动的便携尺寸。有 HDD 型号(8 TB)和 SSD 型号(14 TB),适合搭载在无人机或车辆上收集现场数据。预装 DataSync 代理,网络连接恢复后可自动传输数据。Snowball Edge 有 Storage Optimized(210 TB、24 vCPU)和 Compute Optimized(28 TB、104 vCPU、GPU 可选)两种型号。主要用于数十 TB 到数百 TB 的数据迁移,可将多台设备组成集群扩展处理能力和存储容量。Snowmobile 是 45 英尺的集装箱拖车,单次最多可传输 100 PB 数据,用于整个数据中心迁移等 EB 级项目。选型参考:10 TB 以下用 Snowcone,10-500 TB 用 Snowball Edge,500 TB 以上用多台 Snowball Edge 或 Snowmobile。
数据传输工作流与加密
Snow 设备的使用流程为:从控制台创建作业、设备配送到达、复制数据、寄回设备、AWS 将数据导入 S3,共 5 个步骤。设备上的数据以 256 位加密保护,加密密钥由 KMS 管理。设备到达 AWS 后,在安全设施中将数据导入 S3,完成后按 NIST 800-88 标准完全擦除设备。数据复制使用 AWS OpsHub(GUI 工具)或 Snowball Edge 客户端(CLI)。也可将设备作为 NFS 挂载点公开,使用现有备份工具复制文件。还提供 S3 兼容 API,可使用 aws s3 cp 命令传输数据。传输速度取决于设备网络接口(10 GbE、25 GbE、100 GbE)和本地网络带宽,Snowball Edge 的 25 GbE 连接理论上每天可传输约 20 TB。
边缘计算与运维模式
Snowball Edge Compute Optimized 可运行 EC2 兼容实例(sbe-c、sbe-g),即使在无互联网连接的环境中也能进行计算处理。用于工厂生产线图像检测、船舶上传感器数据分析、矿山地质数据处理等无法连接云端的环境中的机器学习推理和数据预处理。也可运行 Lambda 函数,结合 IoT Greengrass 构建边缘事件驱动处理。搭载 GPU 选项(NVIDIA V100)的型号可高速执行机器学习推理。将多台 Snowball Edge 组成集群后,可构成最大 45 TB 的 S3 兼容对象存储本地存储池,也可作为分布式处理的工作节点。费用按设备使用天数的日费计算,Snowball Edge Storage Optimized 约每天 30 美元,配送费另计。还提供长期使用(1 年、3 年)的承诺折扣。