SWE-bench Verified가 더 이상 프런티어 코딩 역량을 측정하지 못하는 이유

Context

SWE-bench Verified가 93.9%의 포화 상태에 도달하며 프런티어 모델의 실제 코딩 역량 변별력을 상실한 상황. 학습 데이터 내 PR 유출로 인한 Data Contamination과 테스트 케이스 자체의 결함으로 인해 벤치마크 점수와 실제 성능 간 괴리 발생.

Technical Solution

• Data Contamination 방지를 위해 학습 데이터에 포함되지 않은 완전히 새로운 문제셋을 지속적으로 생성하는 Pipeline 구축
• 단일 정답 기반의 One-shot 문제 구조에서 벗어나 추론 비중을 높인 ARC-AGI-3 방식의 고난도 평가 체계 도입
• 실제 프로덕션 환경을 모사하기 위해 20만 토큰 규모의 Noise를 주입한 Context Window 내 성능 측정 설계
• 정적 테스트 통과 여부 대신 모델 간 상호 인터뷰 및 제3의 심판 모델을 통한 상대적 승률 측정 방식 검토
• 단순 코드 생성 능력이 아닌 Retrieval 품질, Tool Use, Multi-turn 상태 조합 능력을 측정하는 시스템적 평가 지표 설정
• 기능적으로 정답인 제출물도 거부하는 결함 테스트(59.4% 비율)를 제거하기 위한 벤치마크 감사(Audit) 프로세스 수행