Amazon Quick 实战应用 - 各部门用例与工作流自动化的设计模式
具体介绍销售 / IT / 财务等各部门的应用场景,以及使用 Quick Flows 实现通知 / 审批 / 多阶段工作流的设计模式。
关于 Athena、OpenSearch、Glue、数据湖构建等 AWS 数据分析与搜索服务的对比文章
具体介绍销售 / IT / 财务等各部门的应用场景,以及使用 Quick Flows 实现通知 / 审批 / 多阶段工作流的设计模式。
讲解使用 AWS Entity Resolution 对客户数据进行记录匹配(实体解析)。介绍基于规则、基于机器学习、基于提供商服务的 3 种匹配工作流以及 ID 映射、费用、隐私保护、与 Clean Rooms 的集成。
通过 Marketplace 采购第三方数据产品,并构建向 S3 自动配送的管道。还介绍将自有数据产品化并实现变现的方法。
介绍以 S3 为存储基础、借助 Lake Formation 实现细粒度访问控制的数据湖设计模式。还讲解 ETL 管道与成本优化。
解说使用 AWS IoT TwinMaker 构建数字孪生。介绍 3D 场景创建、IoT 数据联动、Grafana 仪表板集成和工业设备可视化。
介绍在 EMR 集群上运行 Spark 作业和 Hive 查询、与 EMR Serverless 的选用,以及通过托管扩缩进行的成本优化。
讲解使用 AWS IoT FleetWise 收集车辆遥测数据的方法。介绍车辆建模、边缘的数据过滤以及向云端的高效数据传输。
解析使用 AWS IoT SiteWise 进行工业设备的数据收集、建模和可视化。介绍兼容 OPC-UA 的网关、资产模型和 SiteWise Monitor 仪表板。
AWS IoT Analytics 已于 2025 年 12 月 15 日终止提供。解析官方迁移目标(Kinesis Data Streams / Data Firehose、S3 / Timestream、Glue + Athena)。还解析提供期间的 4 组件架构。
使用 Data Streams 摄取实时数据,并使用 Data Firehose 自动交付到 S3 / Redshift / OpenSearch。本文介绍如何通过分片设计以及与按需模式的选用来构建流式管道。
通过列级和行级的细粒度访问控制与基于标签的管理,建立数据湖的治理。本文介绍与 Glue Data Catalog 的集成以及跨账户访问。
在 Apache Flink 的全托管环境中,通过 SQL 或 Java/Python 应用程序执行实时流处理。本文介绍窗口聚合、模式检测以及 Kinesis/MSK 集成的设计模式。
设计 Apache Kafka 的托管集群,并介绍与 MSK Serverless 的选择区分以及通过 MSK Connect 进行数据集成的模式。
介绍使用 IAM 认证构建无需集群管理的 Kafka 环境,并通过与 EventBridge Pipes 的集成简化事件流处理的方法。
本文讲解使用 AWS Clean Rooms 的隐私保护数据分析。介绍多个组织之间的数据协作、通过分析规则进行的访问控制以及差分隐私的利用。
讲解结合 Kinesis Data Streams 与 Data Firehose 的实时数据管道的设计模式。介绍分片设计、缓冲、Lambda 转换以及向 S3 / Redshift / OpenSearch 的投递。
解析利用 AWS Elemental MediaConvert 和 S3 构建视频转码流水线的方法。介绍多格式输出、HDR 支持以及高性价比的无服务器视频处理实践方法。
介绍使用 Amazon Managed Blockchain 构建区块链网络,以及已于 2025 年 7 月 31 日停止服务的 Amazon QLDB 的定位和向 Aurora PostgreSQL 的官方迁移方向。
通过爬虫程序自动发现 Schema,通过 Glue 作业执行 ETL 处理。介绍 Data Catalog 的活用模式和通过 Glue Studio 进行可视化开发。
明确 Serverless 与 RA3 预置集群的选择标准,介绍通过数据共享和 Spectrum 实现数据湖联动以防止数据孤岛的方法。
解析 Redshift 分布样式与排序键的选择、工作负载管理 (WLM) 设计以及 AQUA 查询加速。
介绍通过 EMR Serverless 执行 Spark/Hive 作业、作业运行的设计以及成本优化方法。
介绍构建基于域的数据目录,通过订阅工作流实现数据的发现、共享和访问控制的方法。
介绍使用 Amazon Quick Sight(原 Amazon QuickSight)构建交互式 BI 仪表板,以及与 Athena 联动的无服务器数据分析基础。包括 SPICE 引擎的高速可视化和向全组织共享洞察的实践方法。
解说利用 AWS Data Exchange 获取和活用第三方数据的方法。介绍通过与 S3 集成构建数据管道,以及作为数据提供商发布数据的方法。
通过 SPICE 引擎实现高速查询,利用嵌入 API 将 BI 功能集成到自有应用。介绍 Q 功能的自然语言查询与 Reader 的会话计费模式。
解析利用 Amazon Kinesis 的流数据处理设计方法,介绍通过 Data Streams、Data Firehose 和 Lambda 集成构建实时数据管道的方法。
无需共享或复制数据即可在多企业间执行联合分析。介绍通过聚合规则防止个人识别以及通过 Cryptographic Computing 实现加密分析。
解说使用 AWS Lake Formation 构建数据湖、实现访问控制与治理的方法。介绍针对基于 S3 的数据湖的列级与行级细粒度权限管理,以及与 Glue、Athena 的集成。
解说利用 Amazon OpenSearch Service 的数据搜索与分析设计方法,介绍通过全文搜索、日志分析和仪表板可视化构建分析基础设施的方法。
介绍通过 EMR 构建 Spark 集群、EMR Serverless 的使用场景区分以及利用 Spot 实例进行成本优化的方法。
介绍通过 Entity Resolution 对多个数据源进行记录匹配以及匹配工作流的设计方法。
解析通过 Amazon MSK (Managed Streaming for Apache Kafka) 构建全托管 Kafka 集群,以及与 Kinesis 的使用场景区分。介绍大规模实时数据流基础设施的设计模式。
构建日志分析平台,通过索引生命周期管理优化成本。介绍 OpenSearch Dashboards 和 Serverless 模式的应用。
Amazon OpenSearch Serverless 是一项无需集群运维管理、通过自动扩展处理搜索和分析工作负载的全托管服务。从实务角度解析 OCU 计费模型、集合类型的选择标准以及索引设计的最佳实践。
解析使用 Amazon Braket 进行量子计算的实践方法。介绍量子电路模拟器、实机量子计算机访问、混合量子-经典算法实现以及与 Lambda 的集成模式。