Forge Gateway 기반 Gemma 4 교체 및 모델 마이그레이션 아키텍처 검증

Context

기존 Qwen-family 중심의 로컬 AI 스택에서 모델 교체 시 개별 앱 수정 없이 경로를 변경하는 운영 환경 구축 필요성 제기. 단순 벤치마크가 아닌 실제 Agent 및 Background Job이 호출하는 Production-shaped 환경에서의 모델 유효성 검증이 핵심 과제임.

Technical Solution

• Forge Gateway를 통한 OpenAI-compatible API 추상화 계층 설계로 모델 교체 시 호출자 수정 없이 Routing 설정만으로 전환 가능하게 구현
• 전면 교체(In-place Swap) 전략을 채택하여 Default Chat, Priority Chat, Multimodal 등 역할별 canonical route를 Gemma 4 시리즈로 매핑
• Rollback 경로 확보를 위해 기존 Qwen route를 삭제하지 않고 Deprecated 처리하여 시스템 안정성 확보
• llama.cpp 최신 빌드 반영 및 ROCm/HIP 컴파일을 통한 Strix Halo iGPU 하드웨어 가속 최적화 및 Gemma 4 아키텍처 핸들러 업데이트
• 모델의 Reasoning block()으로 인한 Structured Extraction 실패 문제를 해결하기 위해 Gateway 레벨에서 Thinking-mode 정책 제어 로직 도입