AI PR 리뷰 시간 4.6배 증가 해결을 위한 다층 Verification 레이어 설계

Context

LLM 기반 Code Generation 성능 향상으로 인해 생성 속도는 빨라졌으나, 검증 과정의 병목으로 인한 'Audit Tax' 발생. 기존의 휴먼 리뷰 방식으로는 신뢰성 확보가 어려우며, 특히 AI가 생성한 코드의 겉모습(Clean look)과 실제 동작 간의 괴리로 인해 Review Cycle이 심화된 상태.

Technical Solution

• Deterministic Gates 도입을 통한 1차 필터링: Typecheck, Tests, Lint, Build 단계를 강제하여 단순 오류를 저비용으로 즉시 제거하는 구조 설계
• Model-based Graders 계층 추가: Review Subagent를 활용해 생성된 Diff와 최초 요구사항(Intent) 간의 정렬 상태를 분석하는 검증 로직 구현
• Human-in-the-loop 최종 승인: 결정론적 검사와 에이전트 리뷰를 통과한 결과물만 인간이 검토하는 파이프라인을 구축하여 리뷰어의 인지 부하 감소
• Eval-driven Verification 체계 구축: 약 20여 개의 실제 실패 사례를 기반으로 Evals 세트를 구성하여 검증 과정을 정량적으로 반복 가능하게 설계
• LLM-as-judge 도입: 정형화되지 않은 모호한 의도(Fuzzy intent)를 판별하기 위해 LLM을 판정자로 활용하는 검증 트리거 설정