客户 ID 整合 - 使用 AWS Entity Resolution 对分散的客户数据进行记录匹配

讲解使用 AWS Entity Resolution 对客户数据进行记录匹配(实体解析)。介绍基于规则、基于机器学习、基于提供商服务的 3 种匹配工作流以及 ID 映射、费用、隐私保护、与 Clean Rooms 的集成。

客户数据记录匹配的课题

企业的客户数据分散在 CRM、电商网站、呼叫中心、营销工具等多个系统中。同一位客户在不同的系统中以不同的写法登记(如“田中太郎”与“Tanaka Taro”、“东京都港区”与“港区”),将这些记录关联为同一个人的记录匹配(实体解析)是一个长年的课题。以往需要自行实现完全匹配或模糊匹配的逻辑,但由于写法差异的模式多种多样,很难同时兼顾精度和覆盖率。AWS Entity Resolution 是一项通过基于规则、基于机器学习(ML)、基于数据服务提供商的 3 种匹配工作流实现客户数据记录匹配的托管服务。

匹配方式与设置

Entity Resolution 提供 3 种匹配工作流(据官方文档记载 / 截至 2026 年 8 月)。基于规则的匹配以分层的瀑布方式,从上到下依次应用自己定义的匹配规则。规则类型有 Simple 和 Advanced 两种,创建工作流后无法更改。Advanced 以 1 个输入类型对应 1 列为前提,可以处理完全匹配和模糊匹配两者,并可以用 AND / OR 和括号组合条件,但不能用于实时处理和 ID 映射。Simple 可以将多个列归入同一个输入类型,条件仅限于完全匹配和 AND,另一方面,除批处理和增量处理外,还支持实时处理和 ID 映射。基于机器学习的匹配由 AWS 预先准备的机器学习模型综合评估姓名、电子邮件地址、电话号码、地址、出生日期等属性,并输出匹配组。由于写法差异、缩写、格式的不同由模型一方处理,因此无需花精力定义规则。基于数据服务提供商的匹配是使用 LiveRamp 等提供商持有的标识符进行匹配的方式,需要另外订阅提供商的服务。除这些匹配工作流外,还有将某一标识符体系的记录映射到另一体系的 ID 映射工作流,可以通过基于规则和使用 LiveRamp 转码的提供商服务这 2 种方式执行。输入数据通过 AWS Glue Data Catalog 引用 S3 上的数据源,1 个工作流中可以指定的数据输入最多为 20 个。通过架构映射,将输入数据的列与 Entity Resolution 的输入类型(姓名、地址、电话号码、电子邮件地址等)对应起来。

用例与 Clean Rooms 集成

主要用例有营销中的客户整合(整合多个渠道的客户数据,构建 360 度的客户视图)、欺诈检测(检测出不同的账户属于同一个人)、数据清洗(检测并整合重复记录)。通过与 Clean Rooms 的集成,可以在不共享组织间数据的情况下执行记录匹配。例如,可以用于广告主和发布商在不公开彼此客户数据的情况下识别共同客户、衡量广告效果的用例。在这种架构中,各成员带来各自管理下的数据,在协作中只进行匹配,因此不会发生原始数据本身的交接。如果选择基于提供商服务的匹配,就可以将 LiveRamp 的 RampID 等标识符用作代表客户的令牌,因此无需将客户数据直接交给广告平台。此外,在 Clean Rooms 上使用的 Entity Resolution 与单独使用时的计费体系不同。

Entity Resolution 的费用

Entity Resolution 的费用按处理的记录数以 1,000 条为单位计数计费(截至 2026 年 8 月 / 在弗吉尼亚北部和东京实测)。1 条记录不论列数多少都指 1 行,匹配结果为不一致的记录也作为处理对象计费。单价方面,基于规则的匹配和基于机器学习的匹配均为每 1,000 条 0.25 美元,基于数据服务提供商的匹配为每 1,000 条 0.10 美元(提供商的订阅费用另计)。ID 映射工作流也按处理记录数计费。由于官方价格页面上没有明确记载单价,通过 AWS Price List(Pricing API)确认是可靠的做法。官方价格页面明确记载费用不因 AWS 区域而变化,并且已经确认基于规则和基于机器学习的单价在弗吉尼亚北部和东京的价目表中相同。此外,截至 2026 年 8 月,基于数据服务提供商的工作流(匹配 / ID 映射均是)仅在俄亥俄 / 弗吉尼亚北部 / 俄勒冈这 3 个美国区域提供,在东京区域无法使用。还需要注意的是,它不属于免费套餐的对象。根据这些单价计算,处理 30 万条为 75 美元,处理 100 万条为 250 美元。首次记录匹配以全部记录为对象,因此成本会变大,但在基于规则的匹配中,启用增量处理后,只有新增 / 更新 / 删除的记录成为计费对象。在已经处理了 90 万条的表中新增 10 万条时,计费仅为相当于增量 10 万条的 25 美元。这种增量处理无法用于基于机器学习的匹配。在 Clean Rooms 上使用 Entity Resolution 时计费的依据会改变,数据准备为每 1,000 条处理记录 0.10 美元,数据匹配在基于规则的方式下为每 1,000 条匹配记录 0.50 美元。在此基础上,还要加上每个协作 100 美元的数据匹配基本费用(只有基于规则的方式才产生基本费用)。基于提供商的方式的数据匹配为每 1,000 条处理记录 0.10 美元。无论哪种情况,都会另外产生存放输入数据的 S3 和 AWS Glue Data Catalog 的标准费用。

数据准备与架构映射

要进行客户数据的记录匹配,首先需要整理输入数据。分散在多个系统中的客户信息,字段名称和格式往往各不相同,因此进行架构映射,确定哪个字段相当于姓名 / 电子邮件 / 地址 / 电话号码。统一写法差异的规范化,对于提高匹配精度也很重要。例如,统一地址的写法以及全角 / 半角的差异。输入数据的质量在很大程度上左右记录匹配的结果。在匹配之前仔细地准备数据,是高精度实体解析的前提。

匹配精度的调整与结果的解读

记录匹配的精度根据各方式不同的线索进行调整(据官方文档记载 / 截至 2026 年 8 月)。在基于规则的匹配中,规则分层排列的顺序本身就成为精度的指标。输出的匹配组会附带产生该组合的规则编号,因此可以解读为在规则 1 中匹配的记录比在规则 2 中匹配的记录经过了更精密的匹配。将多大范围视为同一个,通过放严或放宽各规则的条件,以及按什么顺序排列来控制。另一方面,在基于机器学习的匹配中,会为每个匹配组输出 0.0 到 1.0 的置信度分数。该分数是表示模型判断为同一实体的确定程度的输出值,无法自定义模型本身。因此,精度的调整不是通过重新训练模型,而是通过设计在哪里对输出的分数划线并传递给后续处理来进行。此外,输入数据的规范化默认处于启用状态,会自动应用删除特殊字符和多余空格以及转换为小写。也可以根据需要将其禁用,但由于它对吸收写法差异有效,因此通常保持启用状态使用。在权衡错误地合并不同的人的风险和漏掉同一个人的风险的同时,根据用途调整方式和划线位置,这一点很重要。

隐私与治理

客户数据的记录匹配会处理敏感的个人信息,因此对隐私的考虑不可或缺。Entity Resolution 具备可以在将数据保持在自己管理之下的状态下进行处理的机制,可以在不将数据移到外部的情况下进行记录匹配。由此,可以在将数据的所在位置保持在公司内部的同时,安全地进行整合。对于处理的个人信息,遵守收集的目的和使用同意的范围,并遵守适用的法律法规。管理谁访问了哪些数据,防止目的外的使用。在为了便利而整合数据的同时,要求兼顾保护客户隐私的管控。

整合与运用

通过记录匹配整合的客户档案,可以在各种场景中加以运用。将分散在多个渠道的行为记录归结为一位客户,可以把握这个人的全貌,并能提供一致的服务。在营销中,会带来排除重复后的精准定位以及跨渠道的措施。如果与分析基础联动,可以按客户单位进行准确的汇总,并评估生命周期价值。也有与多家企业安全地匹配数据的机制组合使用的用途。整合后的客户画像,会将数据运用的质量提升一个层次。

总结 - Entity Resolution 的运用指南

AWS Entity Resolution 以托管服务实现分散的客户数据的记录匹配。它的主要优势在于可以从基于规则的精密控制、基于机器学习的自动处理写法差异、使用数据服务提供商标识符的匹配这 3 种匹配工作流中选择。此外,具备跨越标识符体系的 ID 映射工作流,以及通过与 Clean Rooms 的集成可以在不共享数据的情况下进行匹配,也是它的主要优势。它适合客户数据分散在多个系统中、构建统一的客户视图已成为课题的组织。

参考资料(AWS 官方)

本页的第一手信息来源是 AWS 官方网站及官方文档。最新的规格与价格请以下列官方页面为准。

如本页内容与官方文档不一致,请以官方文档为准。

分享