AWS Snow ファミリーによるオフラインデータ転送とエッジコンピューティング
Snowcone・Snowball Edge・Snowmobile のデバイス選定基準を整理し、エッジでの EC2・Lambda 実行と大規模データ移行の計画手法を紹介します。
Snow ファミリーのデバイス選定
Snow ファミリーはネットワーク経由の転送が困難な大容量データを物理デバイスで AWS に移行するサービスです。Snowcone (8 TB HDD / 14 TB SSD) は最小のデバイスで、重量 2.1 kg のポータブルサイズです。帯域幅が限られる遠隔地やフィールドでのデータ収集に適しています。Snowball Edge Storage Optimized (80 TB) は大容量のデータ移行に最適で、10 TB 以上のデータを移行する場合にネットワーク転送より高速かつ低コストです。Snowball Edge Compute Optimized は 104 vCPU と GPU を搭載し、エッジでの機械学習推論やデータ前処理に対応します。100 PB を超える超大規模移行には Snowmobile (100 PB) が用意されています。
エッジコンピューティングの活用
Snowball Edge Compute Optimized はエッジロケーションで EC2 互換のインスタンスと Lambda 関数を実行できます。工場の製造ラインで画像検査を実行し、結果をローカルに保存しつつ、接続が回復した際に S3 に同期するユースケースが典型的です。船舶や鉱山など、インターネット接続が断続的な環境でもコンピューティングを継続できます。S3 互換の API でデータを読み書きするため、クラウドで開発したアプリケーションをエッジにそのままデプロイできます。AWS IoT Greengrass との統合で、IoT デバイスからのデータ収集とエッジ処理を組み合わせることも可能です。
データ移行の計画
データ移行の計画では、まず転送するデータ量とネットワーク帯域幅を比較します。 100 Mbps の回線で 100 TB を転送するには約 100 日かかりますが、 Snowball Edge なら数日で完了します。 AWS コンソールからデバイスを注文し、届いたデバイスにデータをコピーして返送すると、 AWS がデータを S3 にインポートします。複数のデバイスを並行して使用することで、ペタバイト規模の移行も数週間で完了できます。データのコピーには OpsHub GUI または AWS CLI の snowballEdge コマンドを使用します。転送完了後、デバイスは NIST 800-88 準拠の手順でデータが消去されます。 Snow ファミリーについて体系的に学びたい方は、関連書籍 (Amazon)も参考になります。
Snow ファミリーの料金
Snow ファミリーの料金はデバイスの利用日数で課金されます。Snowcone は 1 日あたり約 60 ドル、Snowball Edge Storage Optimized は約 300 ドルです。配送料金は別途発生し、リージョンによって異なります。デバイスの利用期間は通常 10 日間が含まれ、超過分は日額で課金されます。データの S3 へのインポートは無料ですが、S3 からのエクスポートにはデータ転送料金が発生します。100 TB のデータを Snowball Edge で移行する場合、デバイス料金と配送料金を合わせて約 5,000〜6,000 ドルで、同量をインターネット経由で転送する場合のデータ転送料金 (約 9,000 ドル) より安価です。
まとめ
Snow ファミリーはネットワーク転送が非現実的な大容量データの移行と、接続が限られるエッジ環境でのコンピューティングを提供するサービスです。Snowcone (8-14 TB)、Snowball Edge (80-210 TB)、Snowmobile (100 PB) でデータ量に応じたデバイスを選択し、エッジコンピューティングで EC2 や Lambda をオフライン環境で実行します。