Multi-model Consensus 코드리뷰 도입으로 동일 버그 세트 Coverage 40% 증가 달성함

Context

Single-model AI code review는 각 모델마다 서로 다른 failure mode를 가지므로 systematic blind spot이 존재함. Claude는 보안 엣지 케이스에 강하고 GPT-4o는 Python anti-pattern에 강하며 Gemini는 async/concurrency 이슈에 강함.

Technical Solution

• 2ndOpinion MCP: Claude Code에 Claude, GPT-4o, Gemini를 동시에 라우팅하는 플랫폼임
• Consensus Mode: 3개 모델 병렬 호출로 confidence-weighted 결과를 반환함
• Confidence Level: 3/3 agreement는 즉시 수정, 2/3은 검토 필요, 1/3은 설계 트레이드오프 신호로 활용함
• Pattern Memory: 프로젝트별 반복 버그 패턴을 추적하여 regression을 자동 감지함
• GitHub PR Integration: Pull Request에 inline comment로 agreements, disagreements, confidence levels를 자동 추가함

Impact

50개 버그 세트에서 개별 모델 검출률을 합산하면 Coverage가 크게 향상됨. 모델 간 의견 불일치는 ambiguous design tradeoff 영역을 식별하는 핵심 신호임.

Key Takeaway

Multi-model consensus는 단일 모델의 정확도를 높이는 것이 아니라 모델별 강점을 조합하여Coverage를 극대화함.