서로 다른 LLM 가문의 교차 검증으로 코딩 에이전트의 성능 격차 74.7% 해소

Context

단일 모델 기반 코딩 에이전트는 고유의 훈련 데이터 편향으로 인한 맹점 존재. 초기 계획 단계의 작은 오류가 전체 구현 과정에서 누적되어 복구 비용을 증대시키는 구조적 한계 직면.

Technical Solution

• 메인 오케스트레이터 모델과 서로 다른 AI 가문의 모델을 페어링하는 'Rubber Duck' 리뷰 시스템 도입
• Claude Sonnet을 메인 모델로 설정 시 GPT-5.4를 독립 리뷰어로 배치하는 교차 검증 아키텍처 설계
• 계획 수립 후, 복잡한 구현 완료 후, 테스트 실행 전 등 고부가가치 체크포인트에서만 선택적으로 리뷰어 호출
• 단순 자가 성찰(Self-reflection)의 한계를 넘어 서로 다른 모델 가문의 관점을 통한 논리적 허점 및 엣지 케이스 식별
• 무한 루프, 딕셔너리 키 덮어쓰기, 교차 파일 간 의존성 충돌 등 치명적 버그를 사전에 포착하는 필터링 로직 적용
• 기존 Task Tool 인프라를 재활용하여 서브 에이전트 형태로 구현한 유연한 확장 구조

Impact

• Claude Sonnet과 Rubber Duck 조합으로 Sonnet 단독 대비 Opus와의 성능 격차 74.7% 해소
• 3개 이상의 파일이 연관된 고난도 작업에서 Sonnet 베이스라인 대비 성공률 3.8% 향상
• 최상위 난이도 문제군에서 성능 4.8% 추가 개선

Key Takeaway

모델의 자가 피드백보다 서로 다른 훈련 배경을 가진 이종 모델 간의 교차 검증이 복잡한 논리적 오류를 잡아내는 데 훨씬 효과적임.