ThreadPoolExecutor와 Judge Model 기반의 LLM 정량 벤치마크 프레임워크 구축

Context

운영 환경 트래픽 라우팅 전 LLM 모델 간 성능 비교를 위한 객관적 지표 산출 필요성 증대. 순차적 API 호출로 인한 높은 Latency와 정성적 평가의 주관성이라는 한계점 존재.

Technical Solution

• ThreadPoolExecutor를 활용한 Concurrent Request 처리로 전체 벤치마크 실행 시간 단축
• Correctness, Clarity, Conciseness의 3개 축으로 구성된 정량적 Rubric 설계
• LLM-as-a-Judge 패턴 도입을 통한 평가 일관성 확보 및 JSON 기반 자동 스코어링 구현
• Llama-3.3-70b를 Judge Model로 선정하여 출력 포맷의 안정성 및 JSON 파싱 신뢰도 향상
• Wall-clock Latency 측정을 통한 모델별 추론 속도 정량화
• JSONL 기반 테스트 스위트 확장을 고려한 모듈형 Python Harness 설계