用 Amazon Security Lake 构建安全数据湖 - OCSF 格式的统一分析
解析 Security Lake 对 CloudTrail、VPC 流日志、Route 53 日志的自动汇聚、OCSF 标准化、与订阅者的集成。
Security Lake 概述
Security Lake 是自动汇聚和标准化 AWS 及第三方安全数据的服务。以往进行安全分析需要分别收集和转换 CloudTrail 日志、VPC 流日志、GuardDuty 检测结果，Security Lake 将这些自动转换为 OCSF (Open Cybersecurity Schema Framework) 格式并汇聚到基于 S3 的数据湖。数据保存在基于 S3 的数据湖中，可从 Athena 用 SQL 查询。通过 Organizations 集成，委托管理员账户可集中管理所有成员账户的日志，多账户环境的数据可汇聚到单一数据湖。
数据源与 OCSF 标准化
Security Lake 自动收集 CloudTrail、VPC 流日志、Route 53 解析器日志等 AWS 数据源。第三方数据源 (CrowdStrike、Palo Alto Networks、Cisco Security 等) 也可作为自定义源添加。OCSF 是将不同来源的安全事件转换为统一模式的开放框架，无论来源如何都可用相同列名和数据类型查询。通过 OCSF 标准化，例如 CloudTrail 的 sourceIPAddress 和 VPC 流日志的 srcaddr 统一映射为 src_endpoint.ip，一条查询即可跨多个来源进行分析。分区按区域、账户 ID 和事件日期自动执行，可减少 Athena 查询扫描量。
订阅者与分析
订阅者是访问数据湖数据的消费者。数据访问订阅者在数据写入 S3 存储桶时会收到新对象的通知，通知通过其提供的 HTTPS 端点或 SQS 队列送达。查询访问订阅者使用 Athena 等服务直接查询 S3 存储桶中的 Lake Formation 表。可将 Splunk 或 Datadog 等 SIEM 工具设置为订阅者，将 Security Lake 的数据集成到现有安全运维工具。
设计最佳实践与常见陷阱
部署 Security Lake 时，可将日志归档专用 AWS 账户指定为委托管理员，与工作负载账户隔离。将创建订阅者的区域指定为汇总聚合区域后，可将其他区域的数据集中到该区域，但需注意跨区域数据传输费用。常见陷阱是启用 CloudTrail 数据事件 (S3 对象级操作) 后，导入量可能大幅增加，因此事前在示例账户中测量日志量。添加自定义源时，如果未预先验证 OCSF 模式映射，可能因解析失败导致数据丢失，应先用测试自定义源进行验证后再投入生产。
与 CloudWatch Logs 汇聚和自建 ETL 的比较
不使用 Security Lake 的传统方法包括：将日志汇聚到 CloudWatch Logs 并用 Logs Insights 查询，或用 Amazon Data Firehose + Glue ETL 自建数据湖。CloudWatch Logs 配置简单，但各日志源模式不统一导致跨源查询困难，且长期保留日志的存储成本远高于 S3。自建 ETL 模式设计灵活性高，但标准化管道的开发和运维成本大，且不遵循 OCSF 等开放标准，与第三方 SIEM 集成需要额外的转换处理。Security Lake 的优势在于标准化、分区和订阅者管理全部托管提供，且 OCSF 合规可与支持 OCSF 的安全工具集成。但 Security Lake 专为安全日志设计，应用日志和业务指标汇聚仍适合使用 CloudWatch Logs 或自建 ETL。
Security Lake 的费用
Security Lake 的费用取决于导入的数据量等因素。S3 存储费用另行产生。使用 Athena 查询时，另行产生 Athena 费用。按区域设置数据保留期，将旧数据自动分层到 Glacier 可降低存储成本。在 Organizations 全体启用时，可从日志量大的账户开始逐步导入，确认成本后再展开。启用 CloudTrail 数据事件和 VPC 流日志时，先在 1 个账户中测量 1 周成本并估算月费用，然后再向全部账户推广。
总结
Security Lake 是以 OCSF 格式自动汇聚 AWS 安全数据的数据湖服务。通过 Organizations 集成统一组织全体的安全数据，可用 Athena 或 SIEM 工具进行横跨分析。委托管理员账户的隔离设计、启用数据事件时的成本预验证、汇总聚合区域的传输费用关注是部署的要点。
参考资料（AWS 官方）
本页的第一手信息来源是 AWS 官方网站及官方文档。最新的规格与价格请以下列官方页面为准。
如本页内容与官方文档不一致，请以官方文档为准。