生成 AI ワークロードのオブザーバビリティ
Related Events
- Wed 16 Dec · 00:00 – 01:00 UTC · Online
- Thu 17 Dec · 16:00 – 17:00 UTC · Online
概要
AWS 上の生成 AI ワークロード(Amazon Bedrock、SageMaker、セルフホストモデル)には、独自のオブザーバビリティ上の課題があります:非決定的な応答、トークンベースの料金設定、可変レイテンシ、および Bedrock、S3、Lambda、KMS にまたがる API コールを数秒以内にチェーンするマルチサービスエージェントオーケストレーションです。適切なモニタリングがないと、チームは追跡されないトークン使用量によるコスト超過、サイレントなエージェント障害、およびコンプライアンスのギャップに直面します。
このソリューションでは、2 つの補完的なテレメトリパイプラインを有効にします。**パイプライン 1(Bedrock モデル呼び出しログ)**は、すべての Bedrock コールの生のリクエスト/レスポンスコンテンツ、推論パラメータ、トークン数、および呼び出し元の IAM ID をキャプチャします — コスト配分、コンプライアンス監査、およびプロンプトデバッグに不可欠です。**パイプライン 2(ADOT 経由のエージェントテレメトリ)**は、エージェントオーケストレーションフロー、ツール実行、およびモデルコール全体にわたる OpenTelemetry ベースの分散トレースを提供します — レイテンシ分析、エラードリルダウン、および Application Signals ダッシュボードに不可欠です。
これらのパイプラインを組み合わせることで、DevOps ダッシュボード(完了率、コンポーネントレイテンシ、エージェントエラーレート)、FinOps ダッシュボード(モデル/チーム/ロール別のコスト、キャッシュの機会)、および完全なエンドツーエンドのリクエストトレーシングが実現します。AgentCore でホストされたエージェントの場合、テレメトリは自動的に流れます。AgentCore 以外のデプロイメント(EKS、ECS、セルフホスト)の場合は、ADOT 自動計装エージェントをアタッチします。
前提条件
- Amazon Bedrock モデルアクセスが有効になっている AWS アカウント
- IAM 権限:
bedrock:*、logs:*、cloudwatch:*、iam:PassRole - CloudWatch Transaction Search が有効(ドキュ メント)
- AgentCore 以外でのエージェントテレメトリの場合:コンピューティング(EKS、ECS、または EC2)用の ADOT 自動計装エージェント
- ダッシュボード用:Amazon Managed Grafana ワークスペース(オプション、FinOps/DevOps ペルソナダッシュボード用)
- AWS CLI v2 がインストールおよび設定済み
アーキテクチャ

┌──────────────────────────────────────────────────────────────────────┐
│ AWS Account │
│ │
│ ┌────────────────┐ ┌────────────────┐ ┌─────────────────┐ │
│ │ Application │ │ AI Agent │ │ Direct Bedrock │ │
│ │ (EKS/ECS/EC2)│ │ (AgentCore) │ │ API Calls │ │
│ │ + ADOT Agent │ │ (ADOT built-in│ │ │ │
│ └───────┬────────┘ └───────┬────────┘ └───────┬─────────┘ │
│ │ │ │ │
│ │ OTel Traces │ OTel Traces │ │
│ ▼ ▼ │ │
│ ┌──────────────────────────────────────┐ │ │
│ │ CloudWatch (aws/spans) │ │ │