Gemma 4 31B Dense 모델 전환을 통한 추론 일관성 및 문맥 이해도 극대화

Context

Llama 3.1 8B 기반의 브라우저 확장 프로그램에서 단순 기능 작동 수준의 성능에 머문 한계 발생. 특히 다양한 웹 콘텐츠 유형에 따른 추론 깊이 부족과 획일적인 톤앤매너 생성으로 인한 사용자 경험 저하가 핵심 병목 지점으로 작용함.

Technical Solution

• MoE 모델의 전문화된 라우팅 대신 모든 파라미터를 활성화하는 Gemma 4 31B Dense 아키텍처를 채택하여 콘텐츠 유형에 관계없는 일관된 추론 품질 확보
• API 내 System Role 부재를 해결하기 위해 User Turn에 시스템 컨텍스트를 주입하고 Model Acknowledgment를 강제하는 시뮬레이션 패턴 적용
• Reasoning 모델의 내부 사고 과정(Reasoning Trace)을 제거하여 최종 응답 속도와 가독성을 높이기 위한 thinkingBudget: 0 설정
• Context Window 최적화를 위해 우선순위 선택자 체인(Priority Selector Chain) 기반의 텍스트 추출 로직을 구현하고 최대 4,000자로 캡핑하여 토큰 효율성 증대
• 세션 내 연속성 유지를 위해 대화 이력을 누적하여 요청 시마다 주입하는 상태 관리 구조 설계