Mergeability 기반 평가로 AI 코딩 벤치마크의 패러다임 전환 (최고 통과율 14.5%)

Context

기존 AI 코딩 벤치마크의 Binary Signal(Pass/Fail) 방식이 Functional Correctness와 Production Quality를 동일시하는 한계 발생. 테스트 통과 후에도 불필요한 범위 수정, 추상화 파괴, 스타일 위반 등으로 인해 실제 Maintainer의 Merge가 거절되는 괴리 존재.

Technical Solution

• Functional Correctness를 넘어 Mergeability를 측정하는 정밀 Rubric-based 평가 체계 설계
• 난이도별로 Extended(154개), Main(100개), Diamond(50개)로 계층화한 Nested Subset 구조 채택
• 단일 Blocker Criterion 실패 시 전체 점수를 0점으로 처리하는 엄격한 Scoring Methodology 적용
• 단순 결과값 비교가 아닌 Abstraction Boundary 준수 여부를 검증하는 정성적 평가 파이프라인 구축
• 모델 단독 성능이 아닌 Agent Harness를 포함한 Full Stack 성능 측정 환경 구성
• Reasoning Effort Level별 최적 성능을 도출하기 위한 5회 반복 실행 및 평균값 산출 방식 도입