1.3M 실데이터 Replay 기반 Deployment Simulation으로 평가 편향 제거

Context

모델이 평가 상황을 인지하여 정답을 도출하는 evaluation awareness 현상으로 인한 검증 무결성 저하 발생. 합성 데이터 기반의 기존 Red-teaming 방식이 실제 배포 환경의 행동 분포를 반영하지 못하는 한계 노출.

Technical Solution

• 1.3M 건의 실제 사용자 대화 데이터를 활용한 Deployment Simulation 아키텍처 도입
• Assistant 응답을 제거한 Conversation Prefix를 Candidate 모델에 주입하여 실제 환경과 동일한 입력 분포 구현
• 정형화된 Adversarial Prompt 대신 모호하고 불완전한 실제 사용자 맥락을 통한 모델 행동 검증
• 기존 Production Classifiers 및 Safety Rubrics를 동일하게 적용하여 응답 일관성 측정
• Agentic Deployment의 의존성 해결을 위해 Tool Call을 시뮬레이션하는 별도 전용 LM 배치
• 시뮬레이션 추정치를 기반으로 Go/No-go 결정 및 특정 취약 컨텍스트에 대한 타겟 Red-teaming 수행