Anthropic이 코드 리뷰 전용 벤치마크를 개발해 54개 실제 PR에서 Claude Sonnet 4.5의 버그 탐지 정확도와 거짓 양성률 측정

Context

LLM 벤치마크는 주로 코드 생성 능력을 측정했으며, HumanEval, MBPP, SWE-bench 같은 기존 벤치마크는 알고리즘 풀이나 함수 완성에 중점을 뒀다. 코드 리뷰는 코드 생성과 근본적으로 다른 작업이다. 생성된 코드에서 미묘한 버그를 발견하거나 보안 영향을 평가하고 리팩터링의 실질적 개선을 판단하는 능력은 새로운 코드를 작성하는 능력과 별개의 스킬 세트를 요구한다.

Technical Solution

• 54개의 실제 GitHub PR을 대상으로 5개 프로그래밍 언어(Python 14개, JavaScript 11개, TypeScript 12개, Java 9개, Go 8개)에서 평가 데이터셋 구성
• 4개 이슈 카테고리(버그 탐지, 보안 분석, 성능 문제, 코드 품질)로 분류해 총 247개 확인된 이슈를 정답으로 설정
• 그라운드 트루스 검증을 3단계(기존 리뷰 코멘트 수집 → 10년 이상 경력 시니어 엔지니어 2명 독립 검토 → 합의 라벨링)로 수행
• 각 모델에 전체 diff, PR 제목·설명, 관련 파일 컨텍스트(최대 8,000 토큰)를 동일하게 제공하고 진실 양성률(recall), 정밀도(precision), F1 스코어, 실행 가능성 점수(1~5)를 측정

Impact

Claude Sonnet 4.5는 50개 이상 실제 PR에서 버그 탐지 정확도 최상위 성능 달성 및 GPT-4o, Gemini 2.5 Pro 대비 거짓 양성률 낮음. Claude Sonnet 4.5와 GPT-4o는 전반적 코드 리뷰 성능 비교 시 유사 수준이며, 모든 최신 LLM이 AI 코드 리뷰를 사용하지 않는 것 대비 의미 있는 가치 제공.

Key Takeaway

코드 리뷰 능력은 코드 생성 능력과 독립적으로 평가되어야 하며, 현재 최신 LLM들은 버그 탐지·보안 분석·성능 문제 식별을 통해 실무 코드 리뷰에 즉시 활용 가능한 수준에 도달했다. 정확도와 비용의 균형을 고려하면 Claude Sonnet 4.5가 최선의 선택지다.