AWS에서 AI 워크로드 모니터링 및 감사
소개
AWS의 최신 AI 워크로드는 세 가지 독립적인 파이프라인을 통해 텔레메트리를 생성합니다 — CloudTrail(누가 무엇을 호출했는지), Bedrock Model Invocation Logging(모델이 무엇을 응답했는지), ADOT SDK로 수집되는 Agent Telemetry(에이전트가 어떻게 수행했는지). 각 파이프라인은 필수적입니다. CloudTrail만으로는 IAM 역할이 InvokeModel을 호출했다는 사실은 알 수 있지만, 해당 역할이 모델에 무엇을 요청했는지나 에이전트가 어떻게 응답했는지는 알 수 없습니다. Model Invocation Logging은 콘텐츠를 캡처하지만 에이전트 오케스트레이션은 캡처하지 않습니다. ADOT는 오케스트레이션을 캡처하지만 추론 파라미터나 IAM 자격 증명은 캡처하지 않습니다. 보안 및 운영 조사에서는 거의 항상 최소 두 개의 파이프라인을 상관 분석해야 합니다.
이 가이드는 다음을 통해 AI 워크로드에 대한 완전한 모니터링 및 감사 체계를 구축하는 방법을 보여줍니다:
- 세 가지 텔레메트리 파이프라인 모두 활성화 — 이 가이드에서 간략한 설정과 함께 상세 내용에 대한 심층 링크를 제공합니다.
- CloudTrail 기반 탐지 규칙 구축 — Bedrock 및 AgentCore 데이터 이벤트를 포함하는 보안 및 감사 영역에 대한 메트릭 필터, 알람, Contributor Insights 규칙을 구축합니다.
- 크로스 파이프라인 상관관계 쿼리 실행 — CloudTrail과 Bedrock Model Invocation Logging 및 ADOT 스팬을 조인하여 단일 파이프라인만으로는 답할 수 없는 질문에 대응합니다.
Generative AI Security Scoping Matrix와 Agentic AI Security Scoping Matrix는 AI 애플리케이션 구축 시 조직이 대응해야 할 보안 차원을 정의합니다. 여기에는 감사 및 로깅, 자격 증명 컨텍스트, 에이전시 경계, 데이터 보호가 포함됩니다. 이 가이드는 CloudTrail, CloudWatch, 크로스 파이프라인 상관 분석을 활용하여 이러한 차원에 대한 구체적인 구현을 제공합니다. 아래 탭은 각 매트릭스 차원을 이를 구현하는 가이드 섹션에 매핑합니다.
- Agentic AI
- Generative AI
| 차원 | 가이드 섹션 |
|---|---|
| Identity — 사용자, 서비스, 에이전트 자격 증명 관리 | AgentCore Identity & Credentials (Group 2), Query 4, Query 12, Query 14, Metric Filter 7, Metric Filter 18 |
| Data — 영구 메모리 및 상태 보안 | AgentCore Memory & Evaluation (Group 4), Query 16, Metric Filter 19 |
| Audit & Logging — 액션 레벨 에이전트 활동 추적 | Three Telemetry Pipelines, Security Analytics, Cross-Pipeline Correlation, Metric Filters, Contributor Insights |
| Guardrails — 행동 모니터링, 샌드박싱, 격리 | AgentCore Built-in Tools (Group 1), Query 8, Query 21, Query 26, Query 27, Metric Filter 4, Metric Filter 17, Metric Filter 24, Metric Filter 25 |
| Scope — 운영 경계 및 제약 조건 평가 | Network Activity Events, Query 4, Query 9, Query 26, Metric Filter 9, Metric Filter 10, Metric Filter 24 |
| Orchestration — 에이전트-시스템 간 상호 작용 및 흐름 제어 | AgentCore Runtime & Gateway (Group 3), Query 15, Query 17, Query 19, Query 23, Query 24, Metric Filter 21, Metric Filter 22 |
| 차원 | 가이드 섹션 |
|---|---|
| Governance & Compliance — 데이터 주권, 감사 | Model Invocation Logging, Query 18, Query 25, Metric Filter 5, Metric Filter 23 |
| Risk Management — 위협 모델링, 가드레일 | Bedrock Guardrail monitoring, Query 8, Query 21, Query 27, Metric Filter 4, Metric Filter 25 |
| Controls — 자격 증명, 접근 관리, 최소 권한 | Management Events, Query 1, Query 2, Query 4, Metric Filter 1, Metric Filter 7 |
AWS는 CloudTrail, CloudWatch, Bedrock 서비스를 실행하는 클라우드 인프라의 보안을 책임집니다. 고객은 이벤트 셀렉터 구성, 탐지 규칙 생성, 알람 임계값 설정, 보안 이벤트 대응을 포함한 클라우드 내 보안을 책임집니다. 이 가이드는 AI 워크로드에 대한 고객 구성 및 모니터링 책임에 중점을 둡니다. 자세한 내용은 AWS Shared Responsibility Model을 참조하세요.
세 가지 복합 도전과제
Volume — AI 모델 호출은 높은 이벤트 볼륨을 생성할 수 있습니다. 정밀한 이벤트 셀렉터와 집계 없이는 높은 볼륨에서 관심 이벤트를 분리하기 어렵고, 모든 것을 캡처하는 비용이 과도합니다.
Speed — 에이전트가 시작하는 활동 시퀀스는 수초 내에 여러 API 호출, 도구 호출, 모델 상호 작용을 포함할 수 있습니다. 근실시간 탐지 규칙은 운영 이상 징후를 발생 시점에 가깝게 표면화하여 더 빠른 분류와 짧은 평균 조사 시간을 지원합니다.
Complexity: - AI 워크로드 활동은 여러 AWS 서비스에 걸쳐 있습니다. 단일 로그 소스로는 완전한 가시성을 제공할 수 없습니다. 파이프라인 간 상관 분석이 실제 조사가 이루어지는 지점입니다.
이 가이드에서 다루는 내용
- 세 가지 텔레메트리 파이프라인과 각각이 고유하게 캡처하는 내용
- 세 가지 모두의 활성화 (CloudTrail 심층 설명; 나머지 두 가지는 간략한 단계 + 심층 링크)
- CloudTrail 전용 탐지: Bedrock 및 AgentCore 데이터 이벤트에 대한 메트릭 필터, 알람, Contributor Insights
- AgentCore 데이터 이벤트: 게이트웨이 트래픽, 내장 도구 사용, 자격 증명 접근, 메모리 작업, 런타임 활동
- 조사를 위한 크로스 파이프라인 상관관계 쿼리
- 세 가지 데이터 소스를 결합하는 통합 대시보드
GenAI 텔레메트리 환경: 세 가지 상호 보완적 파이프라인
CloudTrail은 AWS에서 AI 워크로드에 대한 완전한 Observability를 제공하는 세 가지 텔레메트리 파이프라인 중 하나입니다. 각각은 서로 다른 데이터를 캡처하고, 서로 다른 목적을 제공하며, 서로 다르게 활성화됩니다. 보안 조사에서는 거의 항상 최소 두 개의 상관 분석이 필요합니다.

| 파이프라인 | 캡처 대상 | 로그 그룹 | 주요 용도 |
|---|---|---|---|
| CloudTrail | 누가 무엇을 했는지 — 모든 API 호출, 호출자 ARN, 소스 IP, 오류 코드, 접근 거부, 컨트롤 플레인 변경 | YOUR_CLOUDTRAIL_LOG_GROUP | 보안 감사, 접근 조사, 구성 변경 추적 |
| Bedrock Model Invocation Logging | 모델이 무엇을 말했는지 — 전체 프롬프트, 전체 응답, 추론 파라미터(temperature, max_tokens), 호출자 IAM 자격 증명, 토큰 수 | bedrock-model-invocation-logging |