隐私保护数据分析 - 使用 AWS Clean Rooms 安全地进行数据协作
本文讲解使用 AWS Clean Rooms 的隐私保护数据分析。介绍多个组织之间的数据协作、通过分析规则进行的访问控制以及差分隐私的利用。
数据协作中的隐私挑战
企业之间的数据共享对业务有帮助,但从隐私和数据保护的角度来看存在诸多限制。这类情况包括广告主与发布商想要衡量广告效果、制药公司与医院想要共同分析临床数据、金融机构之间想要共享欺诈交易模式等。在这些情况下,由于隐私法规(GDPR、个人信息保护法)或业务上的原因,难以直接共享原始数据。AWS Clean Rooms 是 2023 年发布的服务,提供一个让多个组织能够在不共享数据的情况下执行共同分析的环境。各参与者将自己的数据保留在 S3 中,按照在 Clean Rooms 内定义的规则执行查询。原始数据不会公开给其他参与者,只返回分析规则所允许形式的结果。
协作与分析规则
Clean Rooms 的使用从创建协作(Collaboration)开始。协作中有多个成员(组织)参与,各成员将自己的数据表注册为配置表(Configured Table)。在配置表上定义分析规则(Analysis Rules),指定允许的查询类型和输出的约束。聚合规则(Aggregation)仅允许 COUNT、SUM、AVG 等聚合函数,禁止输出单条记录。通过设置聚合行数的下限(例如:仅允许 100 行以上的聚合),降低从少量记录中识别出个人的风险。列表规则(List)允许输出特定列的值列表,但可以限制可输出的列。自定义规则(Custom)允许执行经数据所有者确认的分析模板中的查询,或由其允许的成员创建的查询,并可以细致地设置输出的约束。通过这些规则,数据所有者可以控制分析的范围。
差分隐私与用例
Clean Rooms 的差分隐私(Differential Privacy)选项会向查询结果添加经过数学计算的噪声,使个人信息难以被推测。例如,向“居住在东京都的 30 多岁男性的平均购买金额”这一查询结果添加微小的噪声,使特定个人的购买金额难以被反推。设置隐私预算,限制针对同一数据的查询次数,以降低通过重复查询造成的信息泄露。主要的用例包括广告效果测量(广告主和发布商在不共享用户数据的情况下分析转化)和医疗研究(多家医疗机构在不共享患者数据的情况下开展流行病学研究)。此外还包括金融欺诈检测(多家金融机构在不共享交易数据的情况下检测欺诈模式)和零售分析(制造商和零售商在不共享销售数据的情况下进行需求预测)。
技术机制与定价
Clean Rooms 直接引用 S3 上的数据,不会发生数据的复制或移动。它与 Glue Data Catalog 集成,可以直接使用现有的表定义。查询在 Clean Rooms 内的隔离环境中执行,中间数据也不会在参与者之间共享。使用加密计算(Cryptographic Computing)选项时,数据在加密状态下进行处理,Clean Rooms 服务本身也无法访问数据的内容。Clean Rooms 的 SQL 查询费用由 CRPU(Clean Rooms 的处理单位)的时长决定。差分隐私和加密计算分别会产生额外费用。数据的存储成本仅为 S3 的费用,没有 Clean Rooms 特有的存储费用。
协作设计的推进方法
使用 Clean Rooms 的数据协作从参与者之间达成共识开始。相关各方事先商定提供哪些数据、允许哪些分析、以什么作为结果。通过分析规则限制可执行的查询类型和可作为结果输出的内容,可以在不公开彼此原始数据的情况下,只进行已商定范围内的分析。为了避免一方参与者在无意中详细推测出对方的数据,同时也对输出的粒度加以考虑。认真设计数据的提供范围和分析的约束,建立所有参与者都能认同的框架。
总结 - Clean Rooms 的利用指南
AWS Clean Rooms 是实现多个组织之间隐私保护数据分析的服务。通过分析规则进行的查询控制、基于差分隐私的数学隐私保护、基于加密计算的数据保护是其主要功能。由于可以在不共享原始数据的情况下获得洞察,它可以用于隐私法规严格的行业(医疗、金融、广告)的数据协作。在需要与合作伙伴企业共享数据但又担心隐私时,请考虑使用 Clean Rooms。
参考资料(AWS 官方)
本页的第一手信息来源是 AWS 官方网站及官方文档。最新的规格与价格请以下列官方页面为准。
如本页内容与官方文档不一致,请以官方文档为准。