文本分析与自然语言处理 - 使用 Amazon Comprehend 构建智能文本解析平台
解析利用 Amazon Comprehend 的文本分析与自然语言处理实践方法。介绍情感分析、实体提取、主题建模等功能，以及与 SageMaker 集成构建自定义模型。
文本分析的挑战与 Amazon Comprehend 概述
企业持有的数据约 80% 是非结构化文本数据，客户评论、支持工单、社交媒体帖子、合同等中蕴含着大量信息。Amazon Comprehend 是一项利用机器学习从文本中提取洞察的全托管自然语言处理 (NLP) 服务。仅通过 API 调用即可使用情感分析 (Sentiment Analysis)、实体识别 (Named Entity Recognition)、关键短语提取、语言检测、主题建模等功能。支持包括中文在内的多种语言，也可用于全球文本数据的分析。以下是使用 Comprehend 执行实体识别的 CLI 示例。 ```bash aws comprehend detect-entities \ --text '东京都�的株式会社サンプル于 2026 年 3 月发布了新服务' \ --language-code ja \ --region ap-northeast-1 ```
情感分析与实体识别的实践应用
Comprehend 的情感分析将文本分为 Positive、Negative、Neutral、Mixed 四个类别，并返回各类别的置信度分数。可应用于客户评论自动分类、社交媒体品牌声誉监控、支持工单优先级判定等广泛用例。实体识别自动提取文本中的人名、组织名、地点、日期、数量等命名实体。可直接应用于合同中当事人名称提取、新闻文章中企业名和金额提取、医疗文档中药品名和症状识别等业务流程自动化。PII（个人身份信息）检测功能可自动检测文本中的电话号码、电子邮件地址、信用卡号等个人信息，用于脱敏和编辑处理。
自定义分类与自定义实体识别
Comprehend 的自定义分类功能可以基于行业特定的类别体系构建文本分类模型。只需将已分类文本的 CSV 文件上传到 S3 作为训练数据，Comprehend 就会自动训练模型并部署为端点。自定义实体识别可以构建识别标准实体类型中不包含的行业特定术语（产品名、内部代码、专业术语等）的模型。提供标注模式和实体列表模式两种训练方式，可根据数据准备情况进行选择。通过与 SageMaker 的集成，可以进一步精细调优 Comprehend 的自定义模型，或将 Comprehend 的输出传递给 SageMaker 的后续管道进行额外分析。使用 Flywheel 功能可以自动化模型的持续改进循环，随着新数据的积累自动重新训练模型以提高精度。 从基础到应用全面学习文本挖掘实践，可参考书籍 (Amazon)进行系统学习。
批量分析与实时分析架构
Comprehend 提供批量分析和实时分析两种处理模式。批量分析异步处理存储在 S3 中的大量文本数据，并将结果输出到 S3。适用于数百万条客户评论的批量情感分析、历史支持工单的主题分类等大规模数据处理。实时分析通过 API 端点即时返回结果，可用于聊天机器人的意图分类和实时内容审核。结合 API Gateway 和 Lambda 的无服务器架构，可实现根据请求量自动扩缩和成本优化。通过与 Kinesis Data Streams 的集成，还可构建流数据的实时分析管道。将分析结果存储到 DynamoDB 或 OpenSearch 并通过仪表板可视化，可在整个组织中共享从文本数据中获得的洞察。
Comprehend 的定价
Comprehend 按处理的文本量计费。情感分析、实体提取、关键短语提取每单位（100 个字符）约 0.0001 美元。自定义分类模型训练每秒约 0.0005 美元，推理每单位约 0.0005 美元。PII 检测每单位约 0.0001 美元。处理大量文本时，使用异步批量 API 比同步 API 成本更低。免费额度包含前 12 个月每月 50,000 单位的各 API。
总结 - 文本分析平台构建指南
Amazon Comprehend 以全托管方式提供文本分析和自然语言处理，即使没有机器学习专业知识也能实现高精度文本解析。除情感分析、实体识别、PII 检测等标准功能外，还可构建适应行业特定类别体系和专业术语的自定义模型。通过与 SageMaker 集成的高级模型调优、S3 上大量文本的批量分析，以及 API Gateway 和 Lambda 的实时分析的灵活运用，可覆盖从大规模数据批量处理到实时内容分析的广泛用例。