使用 Amazon MWAA 托管运维 Apache Airflow - DAG 设计与工作流自动化
解析通过 MWAA 构建 Airflow 环境、DAG 设计、S3 集成及 Operator 的活用。
关于 EventBridge、SQS、SNS、API Gateway 等应用程序集成的对比文章
解析通过 MWAA 构建 Airflow 环境、DAG 设计、S3 集成及 Operator 的活用。
介绍 Standard 与 FIFO 队列的选择、DLQ 对处理失败消息的转移以及 Lambda 事件源映射的自动处理。
讲解 SNS 基于主题的消息传递、订阅过滤器以及 SQS 扇出模式。
SNS 的发布/订阅模型、消息过滤策略、FIFO 主题的严格排序、跨账户订阅的设计模式。与 SQS 组合的扇出架构也一并解析。
整理 ActiveMQ 与 RabbitMQ 的选型标准,介绍从本地环境的迁移模式和高可用性配置。同时解析与 SQS/SNS 的使用场景区分。
介绍 EventBridge Pipes 的过滤设计、批处理大小优化、错误处理策略以及提高成本效率的实践最佳实践。
将 Salesforce 和 Slack 的数据以零代码方式同步到 S3 和 Redshift。介绍事件驱动触发器、PII 脱敏以及通过 PrivateLink 实现的安全传输。
解析 Amazon MWAA(Managed Workflows for Apache Airflow)的数据管道编排。从设置、DAG 管理到与 Step Functions 的选型进行实践介绍。
解析如何使用 AWS IoT Events 进行 IoT 设备状态监控和自动响应。介绍检测器模型的状态转换定义、告警功能、与 SNS/Lambda 的联动。
介绍将 SQS、DynamoDB Streams、Kinesis 等事件源与目标直接连接,并在中间插入过滤和丰富处理的设计模式。
讲解 SQS Standard 队列的 At-Least-Once 投递为何会产生重复、可见性超时的内部机制、与 FIFO 队列 Exactly-Once 的区别以及幂等性设计的必要性。
介绍利用 Amazon EventBridge 构建事件驱动架构的方法。
使用 Amazon AppFlow 在 SaaS 应用程序和 AWS 服务之间构建无代码的数据流。详解与 Salesforce、Slack、Google Analytics 等的连接器设置和数据转换。