저비용 모델 성능 검증을 위한 LLM-as-a-Judge 파이프라인 구축

Context

기존 벤치마크 데이터는 개별 워크플로우의 특성을 반영하지 못하는 한계 존재. 프롬프트 변경이나 모델 교체 시 실제 성능 변화를 정밀하게 측정할 도구 필요.

Technical Solution

• Inference, Judge, Compare의 3단계 배치 평가 파이프라인 설계
• Format, Content, Expression을 개별 LLM 호출로 분리한 3레이어 판정 아키텍처로 편향 제거
• 다수결 기반의 Majority Vote 집계 방식으로 판정 결과의 노이즈 최소화
• 후보 모델 레이블을 무작위화하는 Blinding 전략으로 위치 편향 방지
• Rubric 파일을 외부 Markdown으로 분리하여 코드 수정 없는 평가 기준 커스터마이징 구조
• Pydantic과 Typer CLI를 활용한 설정 중심의 실행 환경 구축

Key Takeaway

평가 지표 간의 간섭을 줄이기 위해 판정 프로세스를 원자적 단위로 분리하는 설계 원칙 중요. 정성적 평가의 객관성 확보를 위해 Blinding과 다수결 집계와 같은 통계적 장치 도입 필요.