Amazon OpenSearch Service のアイコン

Amazon OpenSearch Service 热门2015年〜

轻松实现日志分析和全文搜索的托管搜索与分析服务

它能做什么

Amazon OpenSearch Service 是一项实现日志分析、全文搜索和实时应用监控的全托管服务。基于开源的 OpenSearch(Elasticsearch 的衍生版本),可以对大量数据建立索引并进行高速搜索和聚合。标准配备 OpenSearch Dashboards 可视化功能,将基础设施的构建和运维交给 AWS,专注于数据分析。

使用场景

用于应用日志和基础设施日志的汇聚、搜索与可视化,电商和门户网站的全文搜索引擎,安全事件的检测与分析(SIEM),点击流数据的实时分析,IoT 设备遥测数据的存储与趋势分析等处理大量文本数据和时序数据的场景。

日常类比

可以比作图书馆的管理员。从海量藏书(数据)中,只需告知关键词就能瞬间找到相关书籍。不仅如此,还能将藏书趋势汇总成图表,新书到馆时自动通知,兼具搜索、分析和监控的角色。

什么是 OpenSearch Service

Amazon OpenSearch Service 是 AWS 提供的托管搜索与分析服务。最初以 Amazon Elasticsearch Service 的名称提供,2021 年随着开源 OpenSearch 项目的启动而更名。通过倒排索引数据结构,即使面对数十亿文档也能在数毫秒内执行全文搜索。通过 REST API 进行数据导入、搜索和聚合,使用 OpenSearch Dashboards 进行数据可视化。

主要特点

OpenSearch Service 自动化了集群的构建和运维。节点启动、软件补丁、备份、监控均由 AWS 管理,用户可以专注于搜索查询设计和仪表板构建。标准配备多可用区部署实现高可用性、静态和传输加密、VPC 内部署实现网络隔离等企业级安全功能。使用 OpenSearch Serverless 甚至无需管理集群。

日志分析与可视化

OpenSearch Service 的典型用例是日志分析。从 CloudWatch Logs、Kinesis Data Firehose、Logstash 等导入日志数据,建立索引后进行搜索和聚合。OpenSearch Dashboards 支持创建折线图、柱状图、热力图、地图等多种可视化,构建实时仪表板。设置告警功能后,当检测到符合特定条件的日志时,可以向 SNS 或 Slack 发送通知。 如需了解日志分析与可视化的最新动态和实践方法,可参考专业书籍(Amazon)

定价体系

OpenSearch Service 的费用基于实例类型和数量以及存储容量计算。提供按需定价和预留实例定价两种方式,预留实例最高可享受 50% 的折扣。使用 OpenSearch Serverless 时,按索引创建和搜索查询处理所使用的计算单元(OCU)和存储收费。小规模验证可以从 1 台 t3.small.search 实例开始。

开始使用

要开始使用 OpenSearch Service,在 AWS 管理控制台打开 OpenSearch Service 仪表板,创建域(集群)。选择实例类型、节点数、存储大小并设置访问策略后,几分钟内集群即可启动。启动后通过 REST API 导入文档并执行搜索查询。访问 OpenSearch Dashboards 的 URL,即可在浏览器中进行数据可视化和仪表板创建。

注意事项

  • 索引的分片数和副本数设计对性能影响很大,需要根据数据量和搜索模式进行适当设计
  • 存储容量达到上限时索引会变为只读,需要通过索引生命周期管理(ISM)设置旧数据的自动删除或归档
共有するXB!