Gemma 4 모델 믹스 설계를 통한 로컬 RAG 기반 환각률 7.8%p 감소

Context

개인 민감 데이터 처리로 인해 Cloud LLM 활용이 불가능한 Obsidian 사용자들을 위한 로컬 전용 AI 환경 필요성 대두. 단순 단일 모델 챗봇 구조로는 Local-first 환경에서 추론 속도와 답변 신뢰도(Hallucination)를 동시에 확보하는 데 한계 존재.

Technical Solution

• Retriever-Synthesizer-Verifier로 이어지는 3단계 파이프라인 구축을 통한 데이터 검증 체계 마련
• 태스크별 최적 모델을 배정하는 Model Orchestration 전략을 통해 리소스 효율성 및 추론 정확도 최적화
• 속도 중심의 Gemma 4 E4B 모델을 활용한 빠른 Candidate Note 추출 및 Retrieval 수행
• 고성능 추론 능력을 갖춘 Gemma 4 31B Dense 모델을 통한 다중 노트 기반의 구조적 Claim 생성 및 Synthesis 처리
• 비용 효율적인 Gemma 4 26B A4B 모델을 배치하여 생성된 Claim과 원문 간의 일치 여부를 검증하는 Verification 단계 구현
• 단일 OpenAI-compatible API로 서로 다른 크기의 모델들을 유연하게 호출하는 구조적 설계 적용