프롬프트 가이드라인의 한계, 결정론적 Runtime Enforcement로 해결

Context

프롬프트 기반 Guardrails는 확률적 모델 특성으로 인해 강제력이 없는 제안 수준에 불과함. Prompt Injection이나 모델 업데이트 시 보안 경계가 무너지는 구조적 취약점 존재. LLM의 추론 단계와 실제 도구 실행 사이의 간극으로 인해 실시간 통제 불가능.

Technical Solution

• 의도(Intent)와 실행(Action) 사이의 런타임 시점에서 도구 호출을 가로채는 Enforcement Layer 도입
• FPL(Faramesh Policy Language)이라는 전용 DSL을 통해 결정론적인 허용·거부·보류 정책 정의
• 세션, 위임 체인, 예산 제한, 인간 승인 흐름 등 에이전트 네이티브 개념을 First-class Primitive로 설계
• compile-time guarantee를 제공하는 deny! 효과를 통해 하위 정책의 오버라이드 가능성을 구조적으로 차단
• SDK 변경이나 에이전트 코드 수정 없이 실행 레이어를 래핑하는 투명한 통합 방식 적용
• 단순 텍스트 기반 지침이 아닌 코드 기반의 정책 검증을 통한 deterministic 의사결정 구조 구축

Impact

• Prompt Injection 공격에 대해 기존 Guardrail 시스템의 성공률이 90%를 상회하는 취약점 확인

Key Takeaway

AI 에이전트의 안전성은 확률적인 프롬프트 제어가 아닌, 실행 직전 단계의 결정론적 검증 레이어에서 확보해야 함.