피드로 돌아가기
Dev.toAI/ML
원문 읽기
Gemma 4 E2B 기반 4GB RAM 환경의 Full-Offline Multimodal AI 설계
TharVA : Keeping India's Desert Heritage Alive with Offline AI (Gemma4)
AI 요약
Context
인터넷 연결이 불가능한 인도 타르 사막 지역의 특수 환경 및 저사양 안드로이드 기기 제약 사항 분석. 기존 클라우드 기반 AI 모델의 높은 Latency와 네트워크 의존성으로 인한 실시간 대응 불가능 문제 식별.
Technical Solution
- 저사양 기기 구동을 위해 2.3B 파라미터 규모의 Gemma 4 E2B 모델을 선정하여 RAM 4GB 환경 내 최적화 달성
- flutter_gemma 및 LiteRT-LM 런타임을 활용한 On-device Inference 스택 구축으로 데이터 외부 유출 차단 및 Offline-first 아키텍처 구현
- Raw WAV(PCM 16kHz) 바이트를 모델에 직접 전달하는 방식으로 Device-level ASR 의존성을 제거하여 지역 방언 인식률 개선
- Context Window 4,096 토큰 제한 해결을 위해 시스템 프롬프트 내 도메인 지식 주입 및 턴 제한 기반의 Session Rotation 설계
- Streaming TTS와 generateChatResponseAsync() 결합을 통한 토큰 생성-음성 출력 병렬 처리로 체감 Latency 최소화
- KV Cache 오염 방지를 위해 언어 및 모드 변경 시 세션을 완전히 초기화하는 Hard Reset 메커니즘 도입
실천 포인트
- 온디바이스 AI 설계 시 타겟 기기의 RAM 용량과 Context Window 크기를 최우선 제약 조건으로 설정할 것 - 사용자 경험 개선을 위해 LLM 생성 토큰과 TTS 출력을 Streaming 방식으로 결합하여 Perceived Latency를 줄일 것 - 다국어 처리 시 KV Cache 상태 전이로 인한 간섭을 방지하기 위해 세션 초기화 전략을 검토할 것 - 모델 파일의 부분 다운로드 및 런타임 버전 불일치 등 엣지 케이스에 대비한 Recovery 시스템을 구축할 것