Cross-Family Judge 도입을 통한 LLM Pipeline Bias 31.5% 감소

Context

동일 모델 패밀리를 Generator와 Judge로 사용할 때 발생하는 Self-preference bias로 인한 평가 왜곡 발생. 단순한 프롬프트 튜닝으로는 해결 불가능한 구조적 편향성으로 인해 파이프라인 신뢰도 저하 및 데이터 Drift 위험 상존.

Technical Solution

• Generator와 Judge에 서로 다른 Model Family를 할당하여 스타일 인식에 기반한 Self-preference bias 원천 차단
• Holistic 평가 방식을 지양하고 독립적인 다차원 평가 항목(Accuracy, Completeness, Tone, Actionability)을 강제하는 Structured Evaluation 설계
• 최종 점수 산출 전 Reasoning 단계를 거치는 Chain-of-thought 기법을 통해 평가 논리성 확보
• 점수 분포 Drift를 지속적으로 모니터링하여 데이터 편향 고착화 방지
• 모델의 추론 과정에서 특정 근거를 인용(Quote)하도록 강제하여 평가 객관성 검증