Amazon Security Lake

自动将来自 AWS 和第三方的安全数据集中到基于 S3 的数据湖中,以 OCSF 标准格式统一管理的服务

概述

Amazon Security Lake 是一项自动将来自 AWS 服务、第三方安全产品和自定义来源的安全相关日志和事件数据集中到专用数据湖中的服务。数据以 OCSF(Open Cybersecurity Schema Framework)标准格式存储在 S3 中,使用 Apache Parquet 列式格式和分区优化查询性能。消除了安全团队从多个来源手动收集和标准化日志的负担,实现跨来源的统一安全分析。

数据源与 OCSF 标准化

Security Lake 自动收集来自 CloudTrailVPC Flow Logs、Route 53 Resolver 查询日志、Security Hub 发现、S3 数据事件和 Lambda 数据事件等 AWS 原生来源的数据。第三方安全产品(CrowdStrike、Palo Alto Networks 等)通过集成将数据发送到 Security Lake。所有数据转换为 OCSF 格式——一种开放的安全事件标准化模式,定义了统一的事件类别、属性和值。这种标准化消除了分析师需要理解每个来源独特格式的负担。数据以 Parquet 格式存储,按来源、区域、账户和时间分区,优化查询性能和成本。保留策略可按来源和区域独立配置。

订阅者访问与查询集成

Security Lake 通过订阅者模型控制数据访问。订阅者可以是查询访问(直接查询 S3 数据)或数据访问(接收新数据的通知并获取)。查询访问订阅者使用 AthenaRedshift Spectrum 或第三方 SIEM 直接查询数据湖。数据访问订阅者通过 SQS 通知接收新数据到达的消息,适合需要实时处理的安全工具。跨账户和跨区域的数据汇总通过委托管理员配置,将所有成员账户和区域的数据汇聚到中央数据湖。RAM 共享允许安全团队账户查询其他账户的安全数据而无需数据复制。

安全分析用例与成本管理

Security Lake 的典型用例包括威胁狩猎(在历史数据中搜索入侵指标)、事件调查(关联多个来源的事件重建攻击时间线)和合规报告(证明安全日志的完整保留)。Athena 查询示例:跨 CloudTrail 和 VPC Flow Logs 关联可疑 IP 的活动。与 SageMaker 集成可对安全数据运行异常检测模型。成本由 S3 存储、数据转换处理和查询费用组成。成本优化策略包括:配置适当的保留期(合规要求的最短期限)、使用 S3 Intelligent-Tiering 自动优化存储成本、限制收集的数据源仅包含安全分析所需的来源。对于大规模环境,VPC Flow Logs 通常是最大的数据量来源,可考虑仅收集被拒绝的流量以减少数据量。

共有するXB!