Amazon DataZone で実現するデータガバナンス - データの発見・共有・アクセス制御
ドメインベースのデータカタログを構築し、サブスクリプションワークフローでデータの発見・共有・アクセス制御を実現する手法を紹介します。
Athena、OpenSearch、Glue、データレイク構築など、AWS のデータ分析と検索サービスに関する比較記事
ドメインベースのデータカタログを構築し、サブスクリプションワークフローでデータの発見・共有・アクセス制御を実現する手法を紹介します。
Entity Resolution による複数データソースのレコードマッチング、マッチングワークフローの設計を解説します。
ログ分析基盤を構築し、インデックスライフサイクル管理でコストを最適化する。OpenSearch Dashboards と Serverless モードの活用を紹介します。
EMR による Spark クラスタの構築、EMR Serverless との使い分け、スポットインスタンス活用によるコスト最適化を解説します。
データを共有・コピーせずに複数企業間で共同分析を実行する。集計ルールによる個人特定防止と Cryptographic Computing による暗号化分析を紹介します。
EMR Serverless による Spark/Hive ジョブの実行、ジョブランの設計、コスト最適化を解説します。
SPICE エンジンで高速クエリを実現し、埋め込み API で自社アプリに BI 機能を統合する。Q 機能の自然言語クエリと Reader のセッション課金を紹介します。
Amazon OpenSearch Serverless は、クラスターの運用管理を不要にしながら検索・分析ワークロードを自動スケーリングで処理するフルマネージドサービスです。OCU の課金モデルとコレクションタイプの選定基準、インデックス設計のベストプラクティスを実務視点で解説します。
Data Streams でリアルタイムデータを取り込み、Data Firehose で S3・Redshift・OpenSearch に自動配信する。シャード設計とオンデマンドモードの使い分けでストリーミングパイプラインを構築する方法を解説します。
AWS IoT TwinMaker を使ったデジタルツインの構築を解説。3D シーンの作成、IoT データとの連携、Grafana ダッシュボード統合、産業設備の可視化を紹介します。
AWS Entity Resolution を使った顧客データの名寄せ (エンティティ解決) を解説。ML ベースのマッチング、ルールベースのマッチング、プライバシー保護、Clean Rooms との統合を紹介します。
AWS Clean Rooms を使ったプライバシー保護データ分析を解説。複数組織間のデータコラボレーション、分析ルールによるアクセス制御、差分プライバシーの活用を紹介します。
Apache Kafka のマネージドクラスタを設計し、MSK Serverless との使い分けと MSK Connect によるデータ連携パターンを紹介します。
Amazon QuickSight によるインタラクティブな BI ダッシュボードの構築と、Athena との連携によるサーバーレスデータ分析基盤を解説します。SPICE エンジンによる高速可視化と組織全体へのインサイト共有の実践手法を紹介します。
Serverless と RA3 プロビジョンドの選定基準を明確にし、データ共有と Spectrum によるデータレイク連携でサイロ化を防ぐ手法を紹介します。
AWS Lake Formation を使ったデータレイクの構築・アクセス制御・ガバナンスを解説。S3 ベースのデータレイクに対する列レベル・行レベルのきめ細かな権限管理と Glue ・ Athena との統合を紹介します。
クローラーでスキーマを自動検出し、Glue ジョブで ETL 処理を実行する。データカタログの活用パターンと Glue Studio によるビジュアル開発を紹介します。
AWS IoT Analytics を使った IoT デバイスデータの収集・前処理・分析パイプラインを解説。チャネル・パイプライン・データストア・データセットの 4 コンポーネントと QuickSight 連携を紹介します。
AWS IoT SiteWise を使った産業設備のデータ収集・モデリング・可視化を解説。OPC-UA 対応ゲートウェイ、アセットモデル、SiteWise Monitor ダッシュボードを紹介します。
列・行レベルのきめ細かいアクセス制御とタグベース管理でデータレイクのガバナンスを確立する。Glue Data Catalog との統合とクロスアカウントアクセスを紹介します。
EMR クラスターで Spark ジョブと Hive クエリを実行し、EMR Serverless との使い分けとマネージドスケーリングによるコスト最適化を紹介します。
Redshift の分散スタイルとソートキーの選定、ワークロード管理 (WLM) の設計、AQUA によるクエリ高速化を解説します。
S3 をストレージ基盤とし Lake Formation できめ細かいアクセス制御を実現するデータレイクの設計パターンを紹介。ETL パイプラインとコスト最適化も解説します。
Apache Flink のフルマネージド環境で SQL またはJava/Python アプリケーションによるリアルタイムストリーム処理を実行する。ウィンドウ集計・パターン検出・Kinesis/MSK 連携の設計パターンを解説します。
AWS IoT FleetWise を使った車両テレメトリデータの収集を解説。車両モデリング、エッジでのデータフィルタリング、クラウドへの効率的なデータ転送を紹介します。
クラスタ管理不要の Kafka 環境を IAM 認証で構築し、EventBridge Pipes との統合でイベントストリーミングを簡素化する手法を紹介します。
営業・IT・財務など部門ごとの活用シナリオと、Quick Flows による通知・承認・多段階ワークフローの設計パターンを具体的に紹介します。
Amazon OpenSearch Service を活用したデータ検索と分析の設計手法を解説し、全文検索、ログ分析、ダッシュボード可視化による分析基盤の構築方法を紹介します。
Amazon Kinesis を活用したストリーミングデータ処理の設計手法を解説し、Data Streams、Data Firehose、Lambda 連携によるリアルタイムデータパイプラインの構築方法を紹介します。
Amazon Managed Blockchain によるブロックチェーンネットワークの構築と、Amazon QLDB による検証可能な台帳データベースの活用方法を解説します。サプライチェーン管理や金融取引の透明性確保など、実践的なユースケースを紹介します。
AWS Data Exchange を活用したサードパーティデータの取得と活用方法を解説します。S3 との統合によるデータパイプラインの構築と、データプロバイダーとしての公開手法を紹介します。
Kinesis Data Streams と Data Firehose を組み合わせたリアルタイムデータパイプラインの設計パターンを解説。シャード設計、バッファリング、Lambda 変換、S3・Redshift・OpenSearch への配信を紹介します。
Amazon MSK (Managed Streaming for Apache Kafka) によるフルマネージド Kafka クラスタの構築と、Kinesis との使い分けを解説します。大規模なリアルタイムデータストリーミング基盤の設計パターンを紹介します。
Amazon Braket を活用した量子コンピューティングの実践方法を解説します。量子回路シミュレーター、実機量子コンピューターへのアクセス、ハイブリッド量子古典アルゴリズムの実装など、量子技術の活用方法と Lambda との連携パターンを紹介します。
AWS Elemental MediaConvert と S3 を活用した動画トランスコーディングパイプラインの構築方法を解説します。マルチフォーマット出力、HDR 対応、コスト効率の高いサーバーレス映像処理の実践手法を紹介します。
サードパーティのデータ製品を Marketplace 経由で調達し、S3 への自動配信パイプラインを構築する。自社データの製品化と収益化の手法も紹介します。