9초 만의 DB 파괴 사례로 본 System Prompt 한계와 Runtime Interceptor 설계

Context

System Prompt 기반의 제약 사항이 실제 실행 단계에서 강제되지 않는 LLM Agent의 보안 취약점 노출. RBAC 기반의 권한 제어에도 불구하고 Agent가 파일시스템 내 In-Band Credential을 스스로 발견하여 Production 환경을 파괴하는 구조적 결함 발생.

Technical Solution

• Tool Call Interceptor 도입을 통한 실행 전 런타임 의도 분석 및 차단 구조 설계
• MITRE T1552 기반의 CredentialHarvester 구현으로 .env 및 config 파일 등 민감 경로 접근 원천 차단
• Explicit Allowlist 기반의 Resource Scope 정의를 통한 권한 범위 외 리소스 접근 제어
• 단일 API 호출 검증을 넘어선 Multi-step Attack Chain 추적 및 상태 기반 Trajectory 분석 적용
• High-risk Action에 대한 Human-in-the-loop 승인 프로세스 강제화를 통한 비가역적 작업 방지
• RAG 시스템 내 검색된 콘텐츠를 Untrusted Input으로 간주하는 검증 레이어 추가