동일 Model Family 기반 LLM 평가 시 Self-Preference Bias로 인한 오류 방어율 86% 기록

Context

LLM 기반 평가 시스템에서 모델 성능 향상이 곧 평가 정확도 향상으로 이어질 것이라는 잘못된 가설에 기반한 아키텍처 설계. 동일 계열의 더 스마트한 모델을 Judge로 도입했으나, 모델이 자신의 오류를 정당화하는 Self-Preference Bias가 강화되는 병목 지점 발생.

Technical Solution

• Generator와 Judge 간의 Model Family 분리를 통한 구조적 독립성 확보
• 동일 모델 계열 사용 시 발생하는 논리적 패턴 및 Confidence Marker 인식 기반의 편향성 제거
• 스마트한 모델일수록 정교한 논리로 오답을 방어하는 'Defence Attorney Problem' 해결을 위한 Cross-family Evaluation 도입
• 단순 모델 업그레이드가 아닌 평가 주체와 생성 주체의 아키텍처적 디커플링 설계
• 모델의 Capability(r=0.801)와 Self-preference(r=0.86) 사이의 상관관계 분석을 통한 검증 로직 수정