Gemma 4 MoE vs Dense 아키텍처별 프롬프트 반응성 및 Latency 분석

Context

아랍어 이커머스 챗봇의 응답 생성을 위해 기존 GPT-4o-mini를 Gemma 4 모델로 교체하는 기술 검증 수행. 단순 모델 크기 비교를 넘어 MoE와 Dense 아키텍처가 실제 Retrieval 데이터 기반 응답 생성 시 보이는 서로 다른 거부 반응 및 성능 특성 분석.

Technical Solution

• GPT-4o-mini 기반의 Router 및 Profile Extraction 파이프라인을 유지하며 최종 Response Generation 단계만 모델을 교체하는 Hybrid-stack 구조 설계
• Gemma 4 26B MoE(4B Active Params)와 31B Dense 모델을 대상으로 6가지 실전 고객 시나리오 기반의 A/B 테스트 진행
• 1차 테스트에서 발견된 모델의 'Reluctance(응답 주저)' 현상을 해결하기 위해 3가지 전용 프롬프트 룰 및 Temperature 조정 적용
• MoE 모델은 프롬프트 튜닝 후 Grounded Answer 생성 능력이 향상된 반면, Dense 모델은 문맥 내 정답이 있음에도 거부하는 False-negative Refusal 경향 확인
• API 레벨에서 Thinking Mode 제어가 불가능함에 따라 추론 과정이 포함된 End-to-End Latency 측정 방식 채택