AWS Snow Family
Snowcone、Snowball Edge、Snowmobile の物理デバイスを使い、ネットワーク経由では非現実的な大規模データを AWS に転送し、エッジコンピューティングも実行するサービス群
概要
AWS Snow Family は、物理デバイスを使ったオフラインデータ転送とエッジコンピューティングを提供するサービス群です。Snowcone (8-14 TB)、Snowball Edge (80-210 TB)、Snowmobile (100 PB) の 3 種類があり、ネットワーク帯域が限られた環境や、ペタバイト規模のデータ移行に対応します。デバイス上で EC2 インスタンスや Lambda 関数を実行するエッジコンピューティング機能も備え、インターネット接続がない環境でもデータ処理が可能です。
3 種類のデバイスと選定基準
Snowcone は最小のデバイスで、重量 2.1 kg、バッテリー駆動可能なポータブルサイズです。HDD モデル (8 TB) と SSD モデル (14 TB) があり、ドローンや車両に搭載してフィールドデータを収集するユースケースに適しています。DataSync エージェントがプリインストールされており、ネットワーク接続が回復した時点でデータを自動転送できます。Snowball Edge には Storage Optimized (210 TB、24 vCPU) と Compute Optimized (28 TB、104 vCPU、GPU オプション) の 2 モデルがあります。数十 TB から数百 TB のデータ移行が主な用途で、複数台をクラスター化して処理能力とストレージ容量を拡張できます。Snowmobile は 45 フィートのコンテナトレーラーで、最大 100 PB のデータを 1 回で転送します。データセンター全体の移行など、エクサバイト規模のプロジェクトで使用されます。選定の目安として、10 TB 以下なら Snowcone、10-500 TB なら Snowball Edge、500 TB 以上なら複数の Snowball Edge またはSnowmobile です。
データ転送ワークフローと暗号化
Snow デバイスの利用フローは、コンソールからジョブを作成、デバイスが配送される、データをコピー、デバイスを返送、AWS がデータを S3 にインポートの 5 ステップです。デバイス上のデータは 256 ビット暗号化で保護され、暗号化キーは KMS で管理されます。デバイスが AWS に到着すると、セキュアな施設でデータが S3 にインポートされ、完了後にデバイスは NIST 800-88 準拠の方法で完全消去されます。データのコピーには AWS OpsHub (GUI ツール) または Snowball Edge クライアント (CLI) を使用します。NFS マウントポイントとしてデバイスを公開することも可能で、既存のバックアップツールからファイルをコピーできます。S3 互換 API も提供されており、aws s3 cp コマンドでデータを転送できます。転送速度はデバイスのネットワークインターフェイス (10 GbE、25 GbE、100 GbE) とローカルネットワークの帯域に依存し、Snowball Edge の 25 GbE 接続で理論上 1 日あたり約 20 TB の転送が可能です。
エッジコンピューティングと運用パターン
Snowball Edge Compute Optimized は EC2 互換のインスタンス (sbe-c、sbe-g) を実行でき、インターネット接続がない環境でもコンピューティング処理が可能です。工場の製造ラインでの画像検査、船舶上でのセンサーデータ分析、鉱山での地質データ処理など、クラウドに接続できない環境での機械学習推論やデータ前処理に使われています。Lambda 関数も実行可能で、IoT Greengrass と組み合わせてエッジでのイベント駆動処理を構築できます。GPU オプション (NVIDIA V100) を搭載したモデルでは、機械学習の推論処理を高速に実行できます。複数の Snowball Edge をクラスター化すると、S3 互換のオブジェクトストレージとして最大 45 TB のローカルストレージプールを構成でき、分散処理のワーカーノードとしても機能します。料金はデバイスの利用日数に基づく日額課金で、Snowball Edge Storage Optimized は 1 日あたり約 30 USD、配送料は別途発生します。長期利用 (1 年、3 年) のコミットメント割引も提供されています。