RoBERTa 기반 Reward 설계를 통한 AI Detector TPR 87.88% 감소

Context

AI 생성 텍스트를 식별하는 Detector의 탐지 성능을 무력화하기 위한 adversarial paraphrasing 연구 사례. 기존의 Token-level substitution 방식은 Unicode normalization을 통해 쉽게 탐지되는 취약점이 존재함.

Technical Solution

• RoBERTa 모델을 Reward Function으로 활용한 Detector-guided paraphrasing 구조 설계
• Generator Space의 광범위함을 활용하여 Discriminator의 좁은 식별 신호를 우회하는 전략 채택
• 별도의 추가 학습이 필요 없는 Training-free 접근 방식을 통한 범용성 확보
• Adversarial examples를 학습한 Detector조차 무력화하는 구조적 강건함 구현
• Forensic signal을 남기지 않는 문장 수준의 재구성으로 탐지 회피 성능 극대화

Impact

• Binoculars, Fast-DetectGPT, Ghostbuster, RADAR, GPTZero 등 주요 Detector 대상 TPR 87.88% 감소

Key Takeaway

Discriminator의 판단 기준보다 Generator의 표현 가능 범위가 훨씬 넓다는 점을 이용한 공격 설계의 유효성 확인.