AWS Snow ファミリーによるオフラインデータ転送とエッジコンピューティング

Snow ファミリーのデバイス選定

Snow ファミリーはネットワーク経由の転送が困難な大容量データを物理デバイスで AWS に移行するサービスです。Snowcone (8 TB HDD / 14 TB SSD) は最小のデバイスで、重量 2.1 kg のポータブルサイズです。帯域幅が限られる遠隔地やフィールドでのデータ収集に適しています。Snowball Edge Storage Optimized (80 TB) は大容量のデータ移行に最適で、10 TB 以上のデータを移行する場合にネットワーク転送より高速かつ低コストです。Snowball Edge Compute Optimized は 104 vCPU と GPU を搭載し、エッジでの機械学習推論やデータ前処理に対応します。100 PB を超える超大規模移行には Snowmobile (100 PB) が用意されています。

この分野について体系的に学びたい方は、関連書籍 (Amazon) も参考になります。

エッジコンピューティングの活用

Snowball Edge Compute Optimized はエッジロケーションで EC2 互換のインスタンスと Lambda 関数を実行できます。工場の製造ラインで画像検査を実行し、結果をローカルに保存しつつ、接続が回復した際に S3 に同期するユースケースが典型的です。船舶や鉱山など、インターネット接続が断続的な環境でもコンピューティングを継続できます。S3 互換の API でデータを読み書きするため、クラウドで開発したアプリケーションをエッジにそのままデプロイできます。AWS IoT Greengrass との統合で、IoT デバイスからのデータ収集とエッジ処理を組み合わせることも可能です。

データ移行の計画

データ移行の計画では、まず転送するデータ量とネットワーク帯域幅を比較します。100 Mbps の回線で 100 TB を転送するには約 100 日かかりますが、Snowball Edge なら数日で完了します。AWS コンソールからデバイスを注文し、届いたデバイスにデータをコピーして返送すると、AWS がデータを S3 にインポートします。複数のデバイスを並行して使用することで、ペタバイト規模の移行も数週間で完了できます。データのコピーには OpsHub GUI または AWS CLI の snowballEdge コマンドを使用します。転送完了後、デバイスは NIST 800-88 準拠の手順でデータが消去されます。

さらに詳しく知りたい方は、関連書籍 (Amazon) で理解を深められます。

まとめ

Snow ファミリーはネットワーク転送が非現実的な大容量データの移行と、接続が限られるエッジ環境でのコンピューティングを提供します。データ量と環境に応じて Snowcone、Snowball Edge、Snowmobile を選定し、物理デバイスによる安全かつ高速なデータ転送を実現できます。