AWS Snow ファミリーによるオフラインデータ転送とエッジコンピューティング
Snowcone・Snowball Edge・Snowmobile のデバイス選定基準を整理し、エッジでの EC2・Lambda 実行と大規模データ移行の計画手法を紹介します。
Snow ファミリーのデバイス選定
Snow ファミリーはネットワーク経由の転送が困難な大容量データを物理デバイスで AWS に移行するサービスです。1 Gbps の専用回線でも 1 PB のデータ転送には約 100 日かかるため、ペタバイト規模ではオフライン転送が現実的な選択肢となります。Snowcone (8 TB HDD / 14 TB SSD) は最小のデバイスで、重量 2.1 kg のポータブルサイズです。帯域幅が限られる遠隔地やフィールドでのデータ収集に適しています。Snowball Edge Storage Optimized (80 TB) は大容量のデータ移行に最適で、10 TB 以上のデータを移行する場合にネットワーク転送より高速かつ低コストです。Snowball Edge Compute Optimized は 104 vCPU と GPU を搭載し、エッジでの機械学習推論やデータ前処理に対応します。100 PB を超える超大規模移行には Snowmobile (100 PB) が用意されています。
データ転送ワークフロー
データ転送のワークフローは AWS コンソールからジョブを作成し、デバイスが配送されるところから始まります。デバイスを受け取ったらローカルネットワークに接続し、Snowball クライアント、OpsHub GUI、または S3 互換 API を使用してデータをコピーします。Snowball Edge は NFS マウントポイントも提供し、既存のバックアップツールやファイルコピーツールからシームレスにデータを転送できます。データのコピーが完了したらデバイスを AWS に返送し、AWS がデータを指定した S3 バケットにインポートします。複数のデバイスを並行して使用することで、ペタバイト規模の移行も数週間で完了できます。転送完了後、デバイスは NIST 800-88 準拠の手順でデータが消去されます。
エッジコンピューティングの活用
Snowball Edge Compute Optimized はエッジロケーションで EC2 互換のインスタンスと Lambda 関数を実行できます。工場の製造ラインで画像検査を実行し、結果をローカルに保存しつつ、接続が回復した際に S3 に同期するユースケースが典型的です。船舶や鉱山など、インターネット接続が断続的な環境でもコンピューティングを継続できます。S3 互換の API でデータを読み書きするため、クラウドで開発したアプリケーションをエッジにそのままデプロイできます。AWS IoT Greengrass との統合で、IoT デバイスからのデータ収集とエッジ処理を組み合わせることも可能です。Snowcone は IoT Greengrass に対応し、エッジデバイスとしてリモートサイトに常設配置することもできます。 Snow ファミリーについて体系的に学びたい方は、関連書籍 (Amazon)も参考になります。
DataSync との組み合わせによるハイブリッド移行
AWS DataSync はオンプレミスのストレージと AWS ストレージサービス間のデータ転送を自動化するサービスで、Snow Family と組み合わせたハイブリッド移行戦略が有効です。初回の大規模データ移行は Snow Family で実施し、その後の差分データの同期は DataSync でネットワーク経由で継続的に行います。DataSync は NFS、SMB、HDFS、オブジェクトストレージなど多様なプロトコルに対応し、S3、EFS、FSx for Windows File Server への転送をサポートします。転送中のデータ検証 (チェックサム比較) により、データの完全性を保証します。帯域幅の制限設定により業務時間中のネットワーク負荷を制御でき、スケジュール実行で定期的な差分同期を自動化し、オンプレミスとクラウドのデータを常に最新の状態に保てます。
セキュリティとコンプライアンス
Snow Family デバイスはエンタープライズグレードのセキュリティ機能を備えています。保存データは 256 ビット暗号化 (AES-256) で保護され、暗号化キーは AWS KMS で管理されます。デバイスの物理的な改ざんを検知する Trusted Platform Module (TPM) を搭載し、不正アクセスが試みられた場合はデバイスを自動ロックします。GPS 追跡により配送状況をリアルタイムで監視でき、E Ink ディスプレイは配送ラベルの自動更新に使用されます。HIPAA、PCI DSS、FedRAMP などのコンプライアンス要件に対応しており、規制産業のデータ移行にも利用できます。IAM ポリシーによりジョブの作成やデバイスへのアクセス権限を細かく制御できます。
Snow ファミリーの料金
Snow ファミリーの料金はデバイスの利用日数で課金されます。Snowcone は 1 日あたり約 60 ドル、Snowball Edge Storage Optimized は約 300 ドルです。配送料金は別途発生し、リージョンによって異なります。デバイスの利用期間は通常 10 日間が含まれ、超過分は日額で課金されます。データの S3 へのインポートは無料ですが、S3 からのエクスポートにはデータ転送料金が発生します。100 TB のデータを Snowball Edge で移行する場合、デバイス料金と配送料金を合わせて約 5,000〜6,000 ドルで、同量をインターネット経由で転送する場合のデータ転送料金 (約 9,000 ドル) より安価です。
まとめ
Snow ファミリーはネットワーク転送が非現実的な大容量データの移行と、接続が限られるエッジ環境でのコンピューティングを提供するサービスです。Snowcone (8-14 TB)、Snowball Edge (80-210 TB)、Snowmobile (100 PB) でデータ量に応じたデバイスを選択し、エッジコンピューティングで EC2 や Lambda をオフライン環境で実行します。DataSync との組み合わせにより初回の大規模移行と継続的な差分同期を統合したハイブリッド戦略を実現し、AES-256 暗号化と TPM による改ざん検知でエンタープライズグレードのセキュリティを確保します。