机器学习

使用 Amazon Comprehend 实现自然语言处理 - 情感分析与实体提取的活用

详解 Comprehend 的情感分析、实体提取以及自定义分类模型的构建。

約 2 分で読めます

Comprehend 概述

Comprehend 是提供支持 25 种以上语言的自然语言处理（NLP）API 的服务。输入文本后，返回情感分析、实体提取、关键短语提取、语言检测和句法分析的结果。无需机器学习专业知识即可将 NLP 功能集成到应用程序中。通过自定义分类模型和自定义实体识别，还可应对行业特定的文本分类。内部使用基于迁移学习的预训练模型，即使使用少量标注数据也能构建自定义模型，与从零构建 ML 管道相比具有显著优势。

情感分析与自定义模型

情感分析 API 将文本情感判定为 Positive、Negative、Neutral、Mixed 四个类别，并返回各类别的置信度分数。可用于电商网站的评论分析和呼叫中心的通话文本分析。自定义分类通过准备带标签的训练数据，构建按行业特定类别对文本进行分类的模型。支持多类分类（每文档一个标签）和多标签分类（每文档多个标签），接受 CSV 或增强清单格式的训练数据。自定义模型训练推荐每类最少 50 个文档，1000 个以上文档可有效提升精度。PII 检测用于 GDPR 和个人信息保护法的合规，自动检测文本中的个人信息并进行脱敏处理。

PII 检测与实时分析

Comprehend 的 PII 检测 API 自动检测文本中的个人信息（姓名、地址、电话号码、电子邮件地址、信用卡号、社会保障号），返回位置信息和置信度分数。ContainsPiiEntities API 判断是否包含 PII，DetectPiiEntities API 确定具体位置。创建实时分析端点后，可使自定义分类模型或自定义实体识别模型持续运行，通过 API 调用即时获取推理结果。异步批处理作业可批量处理 S3 上的大量文档，将结果输出到 S3。Comprehend Medical 专门针对医疗文本，提取药品名、疾病名和手术名。 要深入理解 Comprehend 的理论和实现，可参考专业书籍 (Amazon)。

设计最佳实践与陷阱

将 Comprehend 集成到生产环境时，需注意几个设计要点。首先，关于 API 限流，同步 API 默认每账户每秒 10-20 个请求的限制，处理高流量需要切换到批处理或通过 Service Quotas 申请配额提升。其次，同步 API 每请求文本大小限制为最大 5000 字节（UTF-8），长文档必须进行分块处理。在句子边界处分割可防止情感分数精度下降。自定义模型运维建议使用 Flywheel 实现持续重训练。Flywheel 自动监控模型性能，在精度下降时使用新数据执行重新学习。此外，由于实时端点按推理单元持续计费，请求频率较低时使用 Lambda 调用同步 API 的架构更具成本效益。

与其他服务的比较

除 Comprehend 外，NLP 实现方式还包括使用 SageMaker 构建自定义模型和通过 Bedrock 使用大语言模型（LLM）。Comprehend 作为预构建的 NLP API 可立即使用，最适合情感分析和实体提取等标准任务。SageMaker 具有微调 Hugging Face Transformers 模型等高自由度，但需要管理训练基础设施和模型托管。Bedrock 的 LLM 仅通过提示即可实现零样本分类，但每 token 成本高于 Comprehend 的每字符单价，不适合大量文本的批量分析。决策指南：需要高吞吐量的标准 NLP 任务选择 Comprehend，需要自定义损失函数或架构选择 SageMaker，少量灵活分类任务选择 Bedrock。与 Google Cloud Natural Language API 和 Azure Text Analytics 相比，Comprehend 与 AWS 生态系统（S3、Lambda、Kinesis）的集成最为无缝，通过 IAM 实现细粒度访问控制是其关键差异化优势。

Comprehend 的费用体系

Comprehend 按 API 调用的字符数计费。情感分析、实体提取、关键短语提取分别按 100 字符为单位（最低 300 字符），每 10 万单位约 1 美元。自定义模型训练每小时约 3 美元，实时端点每推理单元约 0.50 美元/小时。批处理的单价低于实时 API，适合大量文档的分析。实时端点持续计费，因此在流量较少的时段可删除端点，切换为异步作业以降低成本。Comprehend Flywheel 可自动化模型的持续改进，减轻重新训练的运维负担。

总结

Comprehend 是通过 API 提供情感分析、实体提取、PII 检测等 NLP 功能的服务。通过自定义分类模型应对行业特定的文本分类，通过批处理和实时端点处理多样的分析工作负载。Comprehend Medical 还支持医疗文本中药品名和疾病名的提取。

相关服务

Amazon Comprehend通过自然语言处理从文本中提取实体、情感和关键短语的服务Amazon S3具有高耐久性和可扩展性的对象存储服务AWS Lambda无需管理服务器即可运行代码的无服务器计算服务

相关文章

使用 Amazon Textract 自动化文档处理 - 从 OCR 到表单与表格提取通过超越 OCR 的表单和表格结构识别，从发票、收据和身份证件中自动提取数据。同时介绍通过 A2I 集成人工审核。使用 Amazon HealthLake 构建医疗数据分析平台 - FHIR 数据存储与 ML 分析解析 HealthLake 的 FHIR 数据存储、自然语言处理的医疗文本分析，以及分析查询的执行方法。使用 Amazon Textract 从文档中自动提取数据 - OCR、表格解析与表单识别解析 Textract 的文档文本提取、表格结构解析以及表单键值对提取。

本主题的更多内容

使用 AWS Batch 执行基于 GPU 的机器学习训练 - 高性价比的大规模训练方案利用现有 Docker 容器执行 GPU 训练，通过 Spot 实例与检查点机制将成本最高降低 90%。同时介绍与 SageMaker 的使用场景区分。在 Amazon Bedrock 中使用 Claude - 从模型选择到提示词设计与成本优化介绍 Amazon Bedrock 中可用的 Anthropic Claude 模型特性对比、按使用场景的模型选择指南、提示词设计最佳实践以及成本优化方法。使用 Amazon Bedrock Knowledge Bases 构建 RAG 应用 - 检索增强生成的实现自动索引 S3 上的文档，通过 RetrieveAndGenerate API 整合检索与生成。介绍分块策略的选择以及通过 Guardrails 确保安全性的方法。使用 Amazon Braket 入门量子计算 - 量子电路的设计与模拟在本地模拟器上免费进行原型开发，在 IonQ、Rigetti 的真实硬件上执行量子电路。介绍通过混合作业实现 VQE 和 QAOA 的方法。AWS Clean Rooms ML 隐私保护型机器学习 - 无需共享数据即可构建模型详细介绍通过 Clean Rooms ML 构建相似人群模型、应用差分隐私以及在广告定向投放中的实际应用。对话式机器人构建 - 使用 Amazon Lex 和 Polly 实现自然的会话界面详解使用 Amazon Lex 和 Amazon Polly 构建对话式机器人的方法。文档文本提取 - 通过 Amazon Textract 和 Comprehend 实现智能文档处理解说通过 Amazon Textract 从文档中自动提取文本、表格和表单数据，以及与 Comprehend 联动实现的自然语言处理集成。介绍从发票处理到合同分析的实践用例。边缘计算机视觉 - 使用 AWS Panorama 在现场对摄像头视频进行 AI 分析将计算机视觉模型部署到 Panorama 设备，实时分析现有 IP 摄像头视频。解析边缘推理降低延迟和节省带宽的设计模式。

相似的文章与服务

文本分析与自然语言处理 - 使用 Amazon Comprehend 构建智能文本解析平台解析利用 Amazon Comprehend 的文本分析与自然语言处理实践方法。介绍情感分析、实体提取、主题建模等功能，以及与 SageMaker 集成构建自定义模型。Amazon Comprehend对文本进行情感分析、实体提取、主题建模等处理的全托管自然语言处理（NLP）服务文档文本提取 - 通过 Amazon Textract 和 Comprehend 实现智能文档处理解说通过 Amazon Textract 从文档中自动提取文本、表格和表单数据，以及与 Comprehend 联动实现的自然语言处理集成。介绍从发票处理到合同分析的实践用例。使用 Amazon Transcribe 实现语音转文字 - 实时转换与自定义词汇表提供批量和实时语音转文字功能，通过自定义词汇表提升行业专用术语的识别精度。同时介绍 Call Analytics 在联络中心质量管理中的应用。