LLM Guard 50ms 오버헤드로 구현하는 AI Agent 다층 보안 아키텍처

Context

AI Agent의 자율성 증가에 따른 Prompt Injection 및 PII 유출 등 보안 위협 증대. 단일 모델의 안전 장치만으로는 복잡한 대화 정책과 구조화된 데이터 출력의 신뢰성을 보장하기 어려운 한계 존재.

Technical Solution

• Middleware 계층에 LLM Guard를 배치하여 20개 이상의 Scanner를 통한 입력/출력 실시간 Sanitization 구현
• Colang 기반의 Policy-as-Code를 적용한 NeMo Guardrails 도입으로 멀티턴 대화의 Topical/Safety 제어 체계 구축
• Pydantic 스타일의 Validator를 활용한 Guardrails AI 적용으로 LLM 출력의 Schema Compliance 강제
• Vector Similarity Search 기반의 Rebuff를 통한 공격 패턴 학습 및 Self-hardening 방어 기제 구축
• Vigil의 REST API 기반 전용 Detection Server를 1차 방어선으로 배치하여 Prompt Injection 사전 차단
• 각 도구의 특성에 맞춰 PII 필터링, 대화 정책, 구조적 검증을 계층적으로 조합하는 다중 방어 아키텍처 설계