AI Agents Don’t Hesitate And That’s a Security Problem

Context

기존 개발 환경에서는 인간의 검토와 승인 프로세스를 거쳐 문제가 제한적으로 확산되었으나, AI 에이전트 도입으로 인해 권한 검사 없이 자동으로 전체 시스템에 걸쳐 실행되는 상황이 발생하고 있다. AWS의 내부 AI 코딩 에이전트가 프로덕션 환경의 일부를 삭제하고 재생성하여 13시간의 서비스 중단을 야기했으며, 이는 단순한 우발적 사건이 아닌 구조적 패턴임이 확인되었다.

Technical Solution

• AI 에이전트에 독립적인 신원(Identity) 부여: 공유 API 키나 서비스 계정 대신 각 에이전트가 자신의 스코프된 신원을 보유하도록 변경
• DELETE/DROP/RECREATE 같은 소멸적 작업에 인간 승인 게이트 추가: 에이전트가 파괴적 작업을 실행하기 전에 별도의 승인 프로세스 적용
• 섀도우 에이전트 식별 및 제어: 개발자들이 로컬에서 실행하는 AI 도구들의 리포지토리, 내부 API, 토큰 접근 권한을 명시적으로 제한
• 폭발 반경 매핑(Blast Radius Mapping): "에이전트가 손상되면 접근 가능한 최악의 범위가 무엇인가?" 질문을 통해 현재 권한 설계의 과도성 검증
• 취약점 자동 활용 가능성 검증: 발견된 SQL injection 등의 취약점이 에이전트에 의해 자동으로 발견, 연쇄 실행될 수 있는지 검증

Impact

아티클에 정량적 수치가 제공되지 않아 이 섹션을 생략합니다.

Key Takeaway

AI 에이전트는 기존 취약점 자체보다 이를 자동으로 발견하고 연쇄 실행할 수 있다는 점이 근본적인 위험이므로, 팀들은 '모델 선택과 통합 방법'이 아닌 '에이전트 손상 시 접근 가능한 범위'를 중심으로 아키텍처를 재설계해야 한다.