Gemma 4 26B MoE 기반 Local-first AI 디자인 에셋 인덱싱 시스템 구축

Context

디자인 레퍼런스 스크린샷의 비정형 데이터 특성으로 인한 검색 효율성 저하 및 관리 난항 발생. 기존 소형 모델(E4B) 사용 시 메타데이터 추출 정확도 부족으로 인한 검색 결과 노이즈 심화 문제 확인.

Technical Solution

• 24GB Unified Memory 제약 조건 내 Reasoning 성능 확보를 위해 Gemma 4 26B MoE 모델 채택
• 모델 부하 최적화를 위해 Relevance Gate를 통한 1차 필터링 후 메타데이터 추출 단계로 진입하는 파이프라인 설계
• 단일 프롬프트의 정보 손실을 방지하고자 7개의 세부 축으로 분리하여 Parallel Call을 수행하는 Granular Pipeline 도입
• Ollama의 Warm KV Cache를 활용하여 병렬 호출 시에도 Wall-clock Time 증가를 최소화한 구조 설계
• 추가 모델 배포 부담과 RAM 점유를 제거하기 위해 Embedding 모델 없이 Gemma 4 단일 모델 기반의 Query-to-SQL 변환 방식 적용
• Gatekeeper 검증 우회를 위해 .dmg 대신 .zip 배포 방식을 채택하여 사용자 설치 경험 최적화