AWS Lambda がセルフマネージド Kafka イベントソースで Apache Kafka のキューをサポート

AWS Lambda は、セルフマネージド Kafka イベントソースマッピング (ESM) で Apache Kafka のキューをサポートするようになった。これにより、カスタマーはトピックのパーティション数に関係なく Kafka ワークロードの処理をスケールでき、トラフィックの急増時のスループットを向上し、処理の回復力を改善できる。従来は Kafka ESM が Kafka コンシューマグループプロトコルを使用し、各パーティションをコンシューマグループ内の 1 つのコンシューマに割り当てていたため、より高い並列性が必要な場合はトピックをオーバーパーティション化するか、別のキューイングシステムにトラフィックを移動する必要があった。これにより、インフラストラクチャの運用やプロダューサコードのメンテナンスが必要だった。セルフマネージド Kafka ESM のキューサポートは、Apache Kafka 4.2 で一般提供されている Kafka 共有グループに基づいている。このリリースにより、同じパーティションから複数のイベントポーラーが同時に消費でき、各イベントポーラーは最大 10 の同時呼び出しをサポートする。これにより、プロダューサー、トピック設定、関数コードを変更せずに、並列性とパーティション数を分離できる。その結果、トラフィックの急増時のスループットが向上し、同じパーティションの他のイベントを遅延させることなく、遅延または失敗したイベントの処理が可能になる。キューモードはパーティション順序を保持しないため、順序を必要としないワークロード向けである。この機能には、共有グループを有効にした Kafka クラスター (Apache Kafka 4.2 以降など) が必要であり、セルフマネージド Kafka ESM が利用可能なすべての AWS 商用リージョンで利用できる。使用を開始するには、AWS マネジメントコンソール、Lambda API、AWS CLI、AWS CloudFormation、AWS SAM、または AWS CDK を介して、ConsumptionMode を Queue に設定してセルフマネージド Kafka ESM を作成する。標準の Lambda 料金が適用される。セルフマネージド Kafka ESM にプロビジョニングモードを構成する顧客は、イベントポーラーユニット (EPU) の使用にも料金を支払う。詳細については、AWS Lambda 開発ガイドと AWS Lambda 料金を参照してください。

この更新の位置づけ

この更新は、画像や動画のエンコーディング、不正検出、通知配信、テレメトリー収集などのイベント駆動型 Kafka ワークロードを構築しているユーザーに有用である。