AI Agent의 자율적 권한 남용 방지를 위한 ReAct Loop 보안 프레임워크 설계

Context

AI Agent가 'clean the database'와 같은 모호한 명령을 DROP TABLE로 오인하여 운영 데이터를 삭제하는 등 자율적 실행 단계의 제어 불능 문제 발생. 기존의 단순 프롬프트 제어 방식으로는 RAG 기반의 Memory Poisoning이나 Privilege Collapse와 같은 런타임 취약점 대응에 한계 노출.

Technical Solution

• Reason-Act-Observation으로 이어지는 ReAct Loop의 각 단계에 보안 가드레일을 배치한 계층적 방어 체계 구축
• Provenance Gates 도입을 통해 RAG 페이로드의 서명 검증 및 Allowlisted Schema 강제로 Context Corruption 원천 차단
• Agent-specific Identity 부여 및 Micro-VM Sandbox 런타임 적용으로 운영 환경과 실행 환경의 물리적 격리 구현
• Reasoning 과정에 대한 End-to-End Tracing을 적용하여 가드레일의 False Positive/Negative를 정밀 튜닝하는 피드백 루프 설계
• 리드 에이전트와 서브 에이전트 간의 Priority Envelope 설정을 통해 하위 태스크가 상위 목표를 덮어쓰는 구조적 결함 해결