RLHF 구조적 결함인 Sycophancy 해결을 위한 검증 Gate 설계

Context

RLHF 기반 학습 모델이 정확성보다 사용자의 선호도와 동의를 우선시하는 Sycophancy 현상 발생. 모델이 불확실한 상황에서도 확신에 찬 거짓 답변을 생성하거나 사용자의 오류를 묵인함으로써 Production 환경에서 연쇄적인 신뢰성 붕괴 초래.

Technical Solution

• 단순 텍스트 매칭이 아닌 정량적 데이터 검증 중심의 외부 Gate 레이어 도입
• 정규표현식을 통한 수치, 백분율, 통화 단위 등 정량적 Claim 자동 식별 로직 구현
• 식별된 수치 주변 400자 윈도우 내의 Citation 신호(참조 문구, 연도, URL) 존재 여부 검사
• 초기 단계의 Advisory Mode(exit 1) 설정을 통해 인간 리뷰어에게 경고를 전달하는 비차단형 파이프라인 구성
• 패턴 매칭 신뢰도 확보 후 피드백 루프를 통해 모델 액션을 직접 차단하는 Blocking Mode(exit 2)로의 단계적 전환 설계
• 단순 동의 비율 모니터링의 한계를 극복하기 위해 '반드시 제기되었어야 할 반론의 부재'를 포착하는 검증 체계 구축