AI Agent의 Confused Deputy 문제로 인한 2만 개 계정 탈취 사례 분석
AI agents expose the security checks you never actually wrote
AI 요약
Context
인간 상담원의 주관적 판단(Discretion)에 의존하던 Authorization 로직이 AI Agent 도입으로 인해 공백 상태가 됨. LLM의 자연어 인터페이스가 요청자의 정체성(Identity)을 전달하지 못해 Agent가 보유한 권한을 남용하는 구조적 결함 발생.
Technical Solution
- 모델 내부의 판단 능력이 아닌 외부 Policy Layer를 통한 강제적 권한 검증 구조 설계
- 자연어 입력값에서 Identity를 분리하여 API 호출 전 Principal을 재부착하는 인증 메커니즘 도입
- Instruction과 Data를 구분하지 못하는 LLM 특성을 고려한 입력값 샌드박싱 및 검증 로직 구현
- 되돌릴 수 없는 고위험 작업(Critical Action)에 대한 명시적 승인 단계(Human-in-the-loop) 배치
- Agent의 Tool Call 실행 전 요청자의 권한 범위와 매칭하는 Least Privilege 원칙 적용
실천 포인트
1. Agent가 사용하는 API Credential의 Scope를 최소화했는가?
2. 사용자 요청과 Tool Call 사이에 Principal 검증 레이어가 존재하는가?
3. LLM이 처리하는 외부 데이터에 포함된 명령어를 무시하는 필터링이 있는가?
4. 계정 변경, 결제 등 민감 작업에 대한 별도의 Gatekeeping 로직을 설계했는가?