LLM 오케스트레이션과 결정론적 도구 결합을 통한 False Positive 최소화 전략

Context

단일 LLM 기반 리뷰어의 낮은 정확도, 높은 지연 시간 및 비용 문제가 병목으로 작용. 특히 hallucination으로 인한 잘못된 제안이 개발자 신뢰도를 급격히 하락시키는 핵심 제약 사항으로 분석됨.

Technical Solution

• Task-classification routing 도입을 통한 단순 스타일 교정(Small Model)과 복잡한 로직 분석(Frontier Model)의 처리 경로 분리
• Confidence 기반 Fallback chain 설계를 통해 저비용 모델의 불확실성을 고성능 모델로 에스컬레이션하는 안정성 확보
• Static Analysis 도구의 결과물을 Ground Truth로 활용하여 모델의 임의적 추론을 억제하고 사실 기반의 리뷰 생성
• Repository 기반 RAG 적용으로 프로젝트 고유의 컨벤션과 과거 리뷰 히스토리를 반영한 맥락 중심의 분석 수행
• 피드백 루프 설계를 통한 Dismissed comment의 데이터화 및 라우팅 가중치 최적화로 False Positive 지속 감소 유도
• Compliance 요구사항(GDPR, HIPAA, PCI-DSS)을 사후 검증이 아닌 최상위 라우팅 제약 조건으로 통합하여 데이터 처리 경로 제어