12종 LLM 대상 Fuzzing을 통한 Guardrail 취약점 및 Multi-turn Degradation 검증

Context

AI Agent 배포 과정에서 체계적인 Adversarial Testing 부재로 인한 보안 취약점 노출. 단순한 Prompt Injection 방어 체계만으로는 고도화된 공격 페이로드와 세션 유지 기반의 가드레일 무력화 시도를 차단하기 어려운 한계 존재.

Technical Solution

• 5가지 Attack Category(Direct Injection, Role Play, Encoding Evasion, Context Manipulation, Multi-turn Degradation)를 통한 다각적 Fuzzing 수행
• 단순 명령 무시가 아닌 [SYSTEM] 태그를 활용한 Task Update 방식의 정교한 Direct Injection으로 모델의 안전 학습 체계 우회
• Base64 및 Unicode 등 Encoding Evasion 기법을 적용하여 Input Sanitization 단계의 필터링 로직 무력화
• 10회 이상의 대화를 통해 가드레일을 점진적으로 약화시키는 Multi-turn Degradation 전략으로 세션 기반 설계 취약점 식별
• 대화 문맥의 드리프트를 추적하는 Conversation-level Monitoring 도입으로 실시간 경계 침범 감지 구조 제안
• 세션별 System Prompt Rotation을 통한 공격 패턴 예측 가능성 제거 및 가드레일 복원력 강화

Impact

• Multi-turn Degradation 공격 시 12개 모델 중 8개 모델(66.7%)의 가드레일 무력화 확인
• Role Play Bypass 기법을 통해 테스트 모델의 50%에서 필터링 우회 성공
• Direct Injection으로 4개 모델의 안전 지침 위반 및 실행 유도
• Base64 Encoding 페이로드를 통한 3개 모델의 무검사 통과 및 실행 확인

Key Takeaway

단일 요청의 필터링을 넘어 대화 전체의 상태(State)를 관리하는 세션 기반의 보안 설계가 필수적이며, Input Sanitization 단계에서 디코딩 검증을 포함한 다층 방어 체계 구축이 필요함.