Amazon EventBridge Pipes でイベントソースを直接接続 - フィルタリングと変換のパイプライン
EventBridge Pipes によるイベントソースとターゲットの接続、フィルタリング、エンリッチメントの設定を解説します。
EventBridge Pipes の概要
この記事は約 3 分で読めます。 EventBridge Pipes はイベントソースとターゲットをポイントツーポイントで接続するサービスです。従来は SQS キューのメッセージを処理するために Lambda 関数を作成し、イベントソースマッピングを設定する必要がありましたが、Pipes を使うとソースとターゲットを直接接続し、フィルタリングと変換をパイプライン内で完結できます。
この分野について体系的に学びたい方は、関連書籍 (Amazon) も参考になります。
フィルタリングとエンリッチメント
フィルターパターンは EventBridge のイベントパターン構文で記述し、特定の条件に合致するイベントのみをターゲットに送信します。DynamoDB Streams から INSERT イベントのみを抽出する、SQS メッセージの特定フィールドが条件に合致するものだけを処理するといった制御が可能です。エンリッチメントは Lambda 関数や API Gateway を呼び出してイベントデータを補完します。例えば注文イベントに顧客情報を付加してからターゲットに送信できます。入力トランスフォーマーでイベントの JSON 構造をターゲットが期待する形式に変換します。
さらに詳しく知りたい方は、関連書籍 (Amazon) で理解を深められます。
まとめ
EventBridge Pipes はイベントソースとターゲットを直接接続し、フィルタリング・エンリッチメント・変換をパイプライン内で完結するサービスです。グルーコードの Lambda を削減し、イベント駆動アーキテクチャを簡素化します。
AWS の優位点
- SQS、Kinesis、DynamoDB Streams、MSK などのイベントソースをターゲットに直接接続し、グルーコードの Lambda を削減できる
- フィルターパターンで必要なイベントのみをターゲットに送信し、不要な処理を排除できる
- エンリッチメントステップで Lambda や API Gateway を呼び出し、イベントデータを補完・変換できる
- 入力トランスフォーマーでイベントの構造をターゲットが期待する形式に変換できる
- EventBridge Bus、Step Functions、Lambda、API Gateway、SQS、SNS など多数のターゲットに接続できる
同じテーマの記事
Amazon AppFlow で実現する SaaS データ連携 - Salesforce・Slack・Google Analytics との統合
AppFlow による SaaS アプリケーションと AWS サービス間のノーコードデータ連携、フロー設計、データ変換の手法を解説します。
データ統合の自動化 - Amazon AppFlow で実現する SaaS 連携基盤
Amazon AppFlow を活用した SaaS アプリケーション間のデータ統合を解説します。Salesforce、Slack、Google Analytics などの外部サービスと AWS サービスをノーコードで接続し、リアルタイムまたはスケジュールベースのデータフローを構築する方法を紹介します。
イベント駆動アーキテクチャ - Amazon EventBridge で実現する疎結合システム設計
Amazon EventBridge を活用したイベント駆動アーキテクチャの構築方法を解説します。
IoT イベント検知 - AWS IoT Events でデバイスの状態変化を自動検出・対応する
AWS IoT Events を使った IoT デバイスの状態監視と自動対応を解説。検出器モデルによる状態遷移の定義、アラーム機能、SNS/Lambda との連携を紹介します。
ワークフロー管理 - Amazon MWAA で Apache Airflow をマネージド運用する
Amazon MWAA (Managed Workflows for Apache Airflow) によるデータパイプラインのオーケストレーションを解説。セットアップ、DAG 管理、Step Functions との使い分けまで実践的に紹介します。
マネージドメッセージブローカー - Amazon MQ で実現するエンタープライズメッセージング基盤
Amazon MQ による Apache ActiveMQ と RabbitMQ のマネージドメッセージブローカーの構築方法を解説します。既存のオンプレミスメッセージングシステムからの移行戦略と、SQS との使い分けを紹介します。
Amazon MQ で運用するメッセージブローカー - ActiveMQ と RabbitMQ の選定と移行
Amazon MQ の ActiveMQ と RabbitMQ ブローカーの選定基準、オンプレミスからの移行パターン、高可用性構成を解説します。
Amazon MWAA で Apache Airflow をマネージドに運用 - DAG の設計とワークフロー自動化
MWAA による Airflow 環境の構築、DAG の設計、S3 連携、オペレーターの活用を解説します。
Amazon SNS で構築する Pub/Sub メッセージング - ファンアウトパターンとフィルタリング
SNS によるトピックベースのメッセージング、サブスクリプションフィルター、SQS ファンアウトパターンを解説します。
Amazon SQS で構築する非同期メッセージング - Standard と FIFO キューの設計
SQS による非同期処理の設計、Standard と FIFO キューの使い分け、デッドレターキューの活用を解説します。