Gemma 4의 16GB VRAM 단일 모델 구조를 통한 로컬 Multimodal Agent 구현

Context

기존 Multimodal Agent 구현을 위해 여러 모델 컴포넌트를 병렬 실행함에 따른 높은 GPU 서버 의존도와 클라우드 비용 발생. 개별 Encoder 아키텍처로 인한 메모리 오버헤드 및 추론 지연 시간이 주요 병목 지점으로 작용.

Technical Solution

• Separate Encoder 구조를 완전히 제거하고 Audio/Vision 입력을 LLM Backbone에 직접 투영하는 통합 아키텍처 설계
• 단일 모델 로드 방식으로 다중 모델 병렬 실행에 필요한 메모리 오버헤드 제거 및 16GB VRAM 내 구동 가능하게 구현
• Claude Fable 5의 Sub-agent Dispatch 모델 도입을 통한 단일 에이전트 폴링 방식에서 병렬 작업 처리 구조로 전환
• Zig 기반의 libghostty 코어 설계를 통해 터미널 로직과 플랫폼 UI를 분리하여 런타임 성능과 기능성 동시 확보
• GitHub Actions의 Tag Pinning 대신 Commit SHA Pinning 및 Read-only 기본값 적용을 통한 공급망 공격 벡터 차단

Impact

• Gemma 4 12B 모델을 통해 16GB VRAM 환경에서 26B급 모델 수준의 추론 성능 달성
• Gemini 3.5 Live Translate 도입으로 70개 이상의 언어 감지 및 5초 미만의 Speech-to-Speech 지연 시간 구현