피드로 돌아가기
Dev.toAI/ML
원문 읽기
WebGPU 기반 Gemma 4 2B 모델을 통한 온디바이스 DSL 음악 생성 시스템 구축
Gemma4 Challenge
AI 요약
Context
학습 데이터에 포함되지 않은 니치한 DSL인 Strudel 코드를 소형 LLM으로 생성해야 하는 제약 발생. 모델 크기 확장을 통한 지식 습득 대신 런타임 구조를 통한 제어 가능한 생성 환경 구축이 필요함.
Technical Solution
- WebGPU 기반 Gemma 4 2B 모델을 브라우저 내에 배치하여 서버리스 온디바이스 추론 구조 설계
- 600-token 규모의 System Prompt에 DSL 문법과 핵심 관용구를 주입하여 모델의 지식 공백을 메우는 Static Priors 계층 구현
- IndexedDB 기반의 세션 메모리를 통해 사용자의 선호 패턴을 저장하고 Character-bigram Jaccard Similarity로 관련 컨텍스트를 추출하는 Few-shot 인젝션 로직 적용
- Acorn 파서와 Zod 스키마 검증 및 Deny-list 필터링을 거치는 Parser Firewall 계층을 통해 모델의 Hallucination으로 인한 구문 오류 원천 차단
- HTTP 캐시를 활용한 모델 가중치 로드 방식으로 초기 로드 이후 완전한 오프라인 작동 환경 제공
실천 포인트
- 미학습 도메인 대응 시 Fine-tuning 대신 고밀도 System Prompt와 Runtime 구조 설계 검토 - 소형 모델의 신뢰성 확보를 위해 LLM 출력물을 직접 실행하지 않고 반드시 정적 분석기(Parser)를 거치는 파이프라인 구축 - 온디바이스 환경에서 가벼운 유사도 측정 알고리즘(Jaccard Similarity 등)을 활용한 개인화 컨텍스트 주입 전략 활용