存储

混合存储 - 通过 AWS Storage Gateway 实现本地与云的统一

解析如何使用 AWS Storage Gateway 整合本地与云存储。介绍 S3 File Gateway、FSx File Gateway、Volume Gateway、Tape Gateway 四种类型的选型与导入模式。

約 2 分で読めます

混合存储的挑战与 Storage Gateway 的角色

许多企业在推进云迁移的过程中，将本地应用程序和工作流全部立即迁移到云端并不现实。现有的文件服务器、备份系统和业务应用程序继续在本地运行，同时又希望利用云的可扩展性和成本效率。AWS Storage Gateway 是一项通过标准协议从本地环境访问 AWS 存储服务的混合存储服务。以 VM 或硬件设备形式部署在本地，提供 NFS、SMB、iSCSI 等标准协议。应用程序端无需修改，只需将现有文件访问路径指向网关即可完成与云存储的集成。通过本地缓存，频繁访问的数据可低延迟读写，所有数据自动同步到 AWS。

四种网关类型

Storage Gateway 提供四种类型，根据用例选择。S3 File Gateway 通过 NFS/SMB 协议将文件作为 S3 对象保存。文件路径直接映射为 S3 键，保存在 S3 中的数据可从 Athena、Redshift Spectrum、SageMaker 等分析服务直接访问。FSx File Gateway 是通过 SMB 协议访问 Amazon FSx for Windows File Server 的网关，最适合 Windows 文件服务器的云迁移，支持 Active Directory 集成和文件级访问控制。Volume Gateway 通过 iSCSI 协议提供块存储，有 Cached 模式（数据在 S3，缓存在本地）和 Stored 模式（数据在本地，快照在 S3）两种工作模式。快照作为 EBS 快照保存，可附加到 EC2 构建 DR 环境。Tape Gateway 作为 iSCSI VTL（虚拟磁带库）运行，可使用现有备份软件以与物理磁带相同的操作备份到云端。

部署与运维

Storage Gateway 可作为 VMware ESXi、Microsoft Hyper-V、Linux KVM 上的 VM 部署，或使用 AWS 提供的硬件设备。VM 部署的最低要求为 4 vCPU、16 GB RAM 和缓存用本地磁盘。缓存磁盘大小根据工作负载在 150 GB 至 64 TB 范围内设置。也可部署在 EC2 实例上，用于为 VPC 内应用程序提供通过 NFS/SMB 访问 S3 的场景。带宽控制功能可按时间段调度网关使用的网络带宽，实现业务时间优先应用流量、夜间执行数据同步等运维方式。可通过 CloudWatch 指标监控缓存命中率、上传/下载吞吐量和网关健康状态。 如需全面学习存储网关的存储策略，请参阅技术书籍 (Amazon)。

用例与 DataSync 的选型对比

Storage Gateway 的主要用例包括：从本地应用程序使用云存储（日常文件访问）、备份与归档（通过 Tape Gateway 替代物理磁带）、DR（通过 Volume Gateway 快照恢复到 EC2）。与 AWS DataSync 的选型对比也很重要。DataSync 是专注于数据批量迁移和定期同步的服务，可高速执行从本地到 S3/EFS/FSx 的大量数据传输。Storage Gateway 是用于日常文件访问的网关，适合应用程序持续读写数据的场景。迁移阶段使用 DataSync 传输大量数据，迁移完成后使用 Storage Gateway 提供日常访问，这种组合非常有效。费用方面，S3 File Gateway 无需网关本身的费用，仅按 S3 存储费用和请求费用计费。

Storage Gateway 费用

Storage Gateway 的费用由网关类型和存储使用量构成。S3 File Gateway 按请求数和 S3 存储费用计费。Volume Gateway 产生快照的 EBS 存储费用。Tape Gateway 每卷虚拟磁带月费约 0.024 美元/GB。网关 VM 本身在本地资源上运行，不产生 AWS 端额外费用。通过适当设置缓存大小，将频繁访问的数据保留在本地，可优化延迟和成本。

总结 - Storage Gateway 使用指南

AWS Storage Gateway 是无缝整合本地与云存储的混合存储服务。通过 S3 File Gateway、FSx File Gateway、Volume Gateway、Tape Gateway 四种类型，覆盖文件共享、块存储、备份等广泛用例。兼顾本地缓存的低延迟访问与云端无限可扩展性。当本地存储容量紧张、希望废除物理磁带备份、或推进向云的分阶段迁移时，Storage Gateway 是有力的选择。

相关服务

AWS Storage Gateway连接本地环境与 AWS 云存储的混合存储服务Amazon S3具有高耐久性和可扩展性的对象存储服务Amazon FSx全托管提供 Windows File Server、Lustre、NetApp ONTAP、OpenZFS 文件系统

相关文章

对象存储策略 - 使用 Amazon S3 实现数据管理优化从 S3 存储类选择到生命周期策略、版本控制、复制，系统介绍对象存储的设计策略。混合云基础设施 - 通过 AWS Outposts 实现本地与 AWS 的统一平台解析通过 AWS Outposts 将 AWS 基础设施扩展到本地环境，以及通过与 EC2 集成构建混合云架构的方法。介绍数据驻留要求和低延迟要求的应对模式。AWS Backup 的集中备份管理 - 备份计划与跨区域保护通过统一策略集中管理 EC2、RDS、DynamoDB 等多项服务的备份。介绍 Vault Lock 的 WORM 保护和恢复测试自动化。

本主题的更多内容

使用 AWS Backup Gateway 保护本地 VMware VM - 混合备份策略在 vSphere 环境中部署网关，通过 AWS Backup 的备份计划统一管理本地 VMware VM。同时介绍通过跨区域复制实现的灾难恢复方案。Amazon EBS 卷设计与运维 - gp3 和 io2 的选型标准与快照策略明确 gp3 和 io2 的卷类型选型标准，介绍 IOPS 和吞吐量的设计指南以及基于快照的备份策略。Amazon EBS 加密与快照共享 - 跨账户和跨区域设计从启用默认加密到快照的跨账户共享、通过跨区域复制实现灾难恢复设计的一体化介绍。EBS 快照为何增量备份却能完整恢复 - 块级差异管理的内部机制从块级差异管理、S3 存储结构、快速快照恢复的内部机制解析 EBS 快照作为增量备份却能从任意快照完整恢复卷的原理。使用 Amazon EFS 构建共享文件存储 - 从 Lambda/ECS/EC2 挂载的设计指南明确性能模式和吞吐量模式的选型标准，介绍通过生命周期管理自动迁移到 IA 层以优化成本的方法。选择 Amazon FSx 托管文件系统 - Lustre、Windows、ONTAP、OpenZFS 的使用场景区分整理 Lustre、Windows、ONTAP、OpenZFS 四种类型的特点和使用场景区分，介绍 S3 集成和性能设计的指导方针。Amazon S3 Glacier 的归档策略 - 存储类的选择与检索选项明确 Instant Retrieval、Flexible Retrieval 和 Deep Archive 的选择标准，介绍通过生命周期策略实现自动分层和通过 Vault Lock 实现合规性保障。通过 S3 Intelligent-Tiering 优化存储成本 - 基于访问模式的自动分层介绍根据访问模式自动迁移存储层的机制、与生命周期策略的选型对比，以及归档层的活用。

相似的文章与服务

AWS Storage Gateway以文件共享、卷和磁带库形式将 S3、FSx、EBS 存储透明提供给本地应用程序的混合云存储服务使用 AWS Backup Gateway 保护本地 VMware VM - 混合备份策略在 vSphere 环境中部署网关，通过 AWS Backup 的备份计划统一管理本地 VMware VM。同时介绍通过跨区域复制实现的灾难恢复方案。AWS Backup Gateway将本地 VMware 虚拟机纳入 AWS Backup 统一管理的网关服务，整合混合环境的备份运维托管文件系统 - 使用 Amazon FSx 与 EFS 实现高性能共享存储解析如何利用 Amazon FSx 和 Amazon EFS 构建和运维托管文件系统。