托管文件系统 - 使用 Amazon FSx 与 EFS 实现高性能共享存储

解析如何利用 Amazon FSx 和 Amazon EFS 构建和运维托管文件系统。

云文件系统的必要性与 AWS 的选择

许多企业应用需要多台服务器或容器能够同时访问的共享文件系统。内容管理系统、机器学习训练数据、大数据分析工作负载、主目录共享等场景中,基于文件的存储仍然扮演着重要角色。在本地环境中运维 NetApp 或 Dell EMC 的 NAS 设备、Windows 文件服务器等,需要在容量规划、硬件维护、备份管理和性能调优上投入大量工时。AWS 提供 Amazon EFS (Elastic File System) 和 Amazon FSx 系列两种托管文件存储服务,大幅降低了这些运维负担。EFS 是面向 Linux 工作负载的 NFS 文件系统,FSx 则提供 Windows (FSx for Windows File Server)、高性能计算 (FSx for Lustre)、NetApp ONTAP (FSx for NetApp ONTAP)、OpenZFS (FSx for OpenZFS) 四种文件系统类型。

Amazon EFS 的特点与用例

Amazon EFS 是无服务器的全托管 NFS 文件系统。容量可自动扩展至 PB 级别并自动缩减,无需预先配置。支持数千个 EC2 实例、ECS 任务和 Lambda 函数同时挂载,兼容 NFS v4.1 协议。EFS 提供 Standard 和 One Zone 两种存储类,每种还配有低频访问 (IA) 层。EFS Intelligent-Tiering 根据访问模式自动将文件移至最优层级,最高可实现 92% 的成本节省。EFS 与无服务器架构的集成非常出色,Lambda 函数可直接挂载是其重要的差异化优势。突发性能模式下,除了基于存储容量的基线吞吐量外,还提供最高 100 MiB/s 的突发吞吐量。选择预置吞吐量模式则可不受存储容量限制,确保所需的吞吐量。

Amazon FSx 系列的活用

Amazon FSx 根据用途提供四种文件系统类型。FSx for Windows File Server 支持 SMB 协议,完整支持 Active Directory 集成、DFS 命名空间、卷影副本等 Windows 原生功能。作为本地 Windows 文件服务器的迁移目标最为理想,可直接继承现有的组策略和访问权限。FSx for Lustre 是针对高性能计算 (HPC) 和机器学习训练优化的文件系统,可实现数百 GB/s 的吞吐量和数百万 IOPS。通过与 S3 存储桶的透明集成,可将 S3 上的数据集作为高速文件系统直接访问。以下是创建 FSx for Lustre 文件系统的 CLI 示例: aws fsx create-file-system --file-system-type LUSTRE --storage-capacity 1200 --subnet-ids subnet-0123456789abcdef0 --lustre-configuration DeploymentType=PERSISTENT_2,PerUnitStorageThroughput=250,DataCompressionType=LZ4 FSx for NetApp ONTAP 支持从本地 NetApp 环境迁移,可在 AWS 上使用 SnapMirror、FlexClone、数据去重等 ONTAP 功能。FSx for OpenZFS 是具备快照、克隆、数据压缩功能的通用文件系统,适用于开发环境和数据库后端存储。 如需深入了解 AWS 文件系统的设计与运维,可参考专业书籍 (Amazon)

FSx 与 EFS 的费用比较

EFS Standard 每 GB 月费约 0.30 美元,EFS IA 约 0.016 美元。FSx for Lustre 每 GB 月费约 0.14 美元 (SSD),FSx for Windows 约 0.13 美元 (SSD)。FSx for ONTAP 约 0.125 美元 (SSD),可通过分层存储将低频访问数据自动迁移至 S3。根据工作负载特性 (POSIX 兼容、Windows 兼容、高吞吐量) 选择文件系统,并通过生命周期管理优化成本。

总结 - 托管文件系统的选择指南

Linux 工作负载选择 EFS,Windows 环境选择 FSx for Windows File Server,HPC 和 ML 选择 FSx for Lustre,NetApp 迁移选择 FSx for NetApp ONTAP,可根据工作负载特性选择最优服务。EFS 的 Intelligent-Tiering 自动成本优化、FSx for Lustre 的 S3 集成高速数据访问、FSx for Windows File Server 的 Active Directory 集成,分别为各自的用例提供独特价值。文件系统的选择应从协议需求、性能需求和与现有环境的兼容性三个维度进行判断。