생성형 AI Observability
Application Signals + Amazon Bedrock
CloudWatch Application Signals는 Amazon Bedrock 모델과 상호작용하는 생성형 AI 애플리케이션의 문제 해결을 지원합니다. Bedrock API 호출에 대한 즉시 사용 가능한 텔레메트리를 제공하여 다음을 조사할 수 있습니다:
- 모델 구성 문제
- 사용량 및 비용 동인 (토큰 사용량)
- 모델 지연 시간
- 응답의 중단/완료 사유
세분화된 메트릭 및 트레이스
Bedrock 호출에 대해 Application Signals는 리소스 수준의 상세 정보(예: model ID, guardrails ID, knowledge base ID, Bedrock agent ID)와 함께 성능 메트릭과 트레이스 스팬을 생성하고 연관시킬 수 있습니다.
참조: Example: troubleshoot generative AI apps interacting with Amazon Bedrock
GenAI 시맨틱 속성 + Transaction Search
Application Signals는 OpenTelemetry GenAI 시맨틱 컨벤션 속성(예: gen_ai.request.model 및 토큰 사용량 필드)을 발행할 수 있습니다. CloudWatch Transaction Search를 사용하여 프롬프트, 토큰 사용량, 모델 간 지연 시간을 비교 분석할 수 있습니다.