LLM 에이전트 시스템의 프롬프트 인젝션 위협이 채팅봇의 출력 조작에서 도구 실행 제어로 확대되면서, 입출력 양측 검증 및 간접 인젝션 탐지 메커니즘 도입 필요

Context

기존 프롬프트 인젝션 방어는 채팅봇의 텍스트 출력 오염에만 집중했으나, LLM 에이전트가 데이터베이스 접근, 파일 쓰기, API 호출, 이메일 전송 등 실제 행동을 수행하게 되면서 위협 모델이 근본적으로 변화했다. 단일 메시지 검증만으로는 다중 턴 대화에서 문맥을 통해 누적된 조작을 탐지할 수 없으며, 사용자 입력이 아닌 검색된 문서나 웹페이지에 내장된 악성 지시문은 입력 필터링을 우회한다.

Technical Solution

• 세션 누적 계층(Session Accumulation Layer) 도입: 개별 메시지 평가 대신 세션 ID 기준으로 여러 턴에 걸친 위험도 추적
• 도구 호출 전 출력 측 검증: tool_misuse 모듈이 사용자 입력이 아닌 모델의 최종 지시문(도구 실행 전)을 검사
• 권한 범위 검증(excessive_agency 모듈): 제안된 행동이 에이전트의 정의된 권한 범위 내인지 확인
• 간접 인젝션 탐지(indirect_injection 모듈): 설정된 콘텐츠 소스(웹페이지, PDF, 업로드 문서 등)에서 검색된 데이터에 대해 더 높은 수준의 검사 적용
• 입력 측 기본 방어: 사용자 메시지의 인젝션 시도 및 탈옥(jailbreak) 차단
• 출력 측 일반 검증: 시스템 프롬프트 유출, 악성 URL 삽입, 민감 정보 외부 노출 체크

Key Takeaway

에이전트 시스템의 보안은 입력 필터링만으로 불충분하며, 도구 실행 전 출력 검증과 다중 턴 문맥 누적 추적이 필수적이다. 설계 초기부터 보안을 포함하는 것이 사후 개선보다 비용이 훨씬 낮다.