개발자가 LLM 애플리케이션용 프롬프트 인젝션 감지 파이썬 라이브러리를 구축하여 규칙 기반 탐지에서 61.4% 재현율을 달성했다

Context

LLM 백엔드 애플리케이션에서 사용자 입력이 모델에 직접 전달되어 프롬프트 인젝션 공격의 위험에 노출된다. 기존 모더레이션 API는 프롬프트 인젝션 특화 탐지 기능이 부족하며 비영어 입력에 대한 탐지 성능이 낮다.

Technical Solution

• 사용자 입력 → LLM 전달 전 1차 Screening 계층으로 활용
• 규칙 기반 탐지: regex 및 프레이즈 매칭으로 <1ms 지연 시간 달성
• Embedding 기반 탐지: cosine similarity로 공격 예시와 비교하여 5~15ms 지연 시간
• LLM-as-judge: 외부 API 연동으로 150~300ms 지연 시간 추가, 더 높은 정확도 제공

Impact

규칙 기반 단독 평가에서 FPR 0.0%达成了하고 재현율 61.4%를 보였다. 파라프레이즈 또는 간접 명령 형태의 약 40% 공격이 탐지되지 않았다.

Key Takeaway

단일 탐지 전략으로는 프롬프트 인젝션을 완전히 방어할 수 없으며 defense-in-depth 설계로 다중 Screening 레이어를 순차 적용해야 한다.