LLM Instruction-Data 분리 불가 결함을 해결하는 Zero-Trust AI 보안 설계

Context

LLM이 시스템 지침(Instruction)과 사용자 데이터(Data)를 구분하지 못하는 근본적 설계 결함으로 인한 보안 취약점 발생. 특히 RAG 및 Multi-Agent 환경에서 외부 입력값이 제어 흐름을 장악하는 Prompt Injection 위협 증가.

Technical Solution

• LLM을 신뢰할 수 없는 컴포넌트로 간주하는 Zero-Trust 마인드셋 기반의 보안 아키텍처 적용
• RAG 파이프라인 내 데이터 오염 방지를 위한 Content Provenance 검증 로직 구현
• Agent의 외부 시스템 인터랙션 시 Human-in-the-loop 기반의 Tool Invocation 모니터링 체계 구축
• 신뢰 수준에 따른 Untrusted Content 세그멘테이션 및 모델 권한 제약(Least Privilege) 설정
• 모델 라우터 하드닝을 통한 비정상적 입력 패턴 필터링 및 라우팅 제어
• Multi-LLM 체인 구조에서 모델 간 전파되는 오염 데이터를 차단하는 검증 레이어 설계