Amazon OpenSearch Service

兼容 Elasticsearch 的托管搜索与分析引擎,支持全文搜索、日志分析、实时仪表板等多种用例

概述

Amazon OpenSearch Service 是一项以全托管方式提供 OpenSearch(Elasticsearch 的开源分支)的搜索与分析服务。AWS 管理集群的预置、补丁、备份和监控,大幅降低运维负担。除了作为全文搜索引擎的文本搜索外,还通过 OpenSearch Dashboards 实现日志可视化与分析,通过异常检测插件实现实时监控,在搜索和分析两方面均有广泛应用。通过 UltraWarm 和 Cold 存储的分层,可以低成本长期保存大量日志数据。

集群架构与节点类型设计

OpenSearch Service 集群由数据节点、专用主节点和 UltraWarm 节点三种类型构成。数据节点存储索引数据并执行搜索和聚合查询,实例类型和 EBS 卷大小直接影响性能。专用主节点管理集群状态(索引映射、分片分配),建议在生产环境中配置 3 个以确保高可用性。UltraWarm 节点将不常访问的旧数据迁移到 S3 支持的存储中,以约十分之一的成本保留数据。分片设计是性能调优的关键——每个分片建议 10-50GB,分片数过多会增加主节点负担,过少则无法充分利用并行处理。多可用区部署(2AZ 或 3AZ)通过副本分片实现故障转移,确保单个 AZ 故障时服务不中断。

索引管理与搜索性能优化

OpenSearch 的 Index State Management(ISM)策略可自动化索引的生命周期管理。典型模式是:热阶段(数据节点,高性能搜索)→ 温阶段(UltraWarm,低成本保留)→ 冷阶段(Cold Storage,最低成本归档)→ 删除的阶段转换。ISM 策略根据索引年龄或大小自动执行转换,无需手动操作。搜索性能优化方面,映射设计至关重要。不需要搜索的字段设置为 keyword 类型或禁用索引,减少不必要的倒排索引构建。对于日志分析用例,使用 Data Streams 按时间自动创建索引,结合 ISM 实现高效的时序数据管理。

安全配置与 Serverless 选项

OpenSearch Service 的安全层包括网络隔离(VPC 内部署)、传输加密(TLS)、静态加密(KMS)和细粒度访问控制(FGAC)。FGAC 可在索引、文档和字段级别控制访问权限,实现多租户环境中的数据隔离。与 Cognito 集成可为 Dashboards 提供用户认证。OpenSearch Serverless 是无需管理集群容量的选项,自动扩缩容以应对工作负载变化。Serverless 适合流量波动大或难以预测容量的用例,但每个集合(Collection)有最低费用,小规模使用时成本可能高于预置集群。选择标准是:稳定工作负载选预置集群,变动大或运维资源有限选 Serverless。

共有するXB!