피드로 돌아가기
Dev.toAI/ML
원문 읽기
Gemma 4 E2B 기반 3년 된 구형 폰 내 Full-Offline 텍스트 정제 시스템 구현
Bidet AI — on-device Gemma 4 turns a messy brain-dump into clean writing
AI 요약
Context
개인정보 보호가 필수적인 교육 현장의 기록 업무를 위해 클라우드 의존 없는 온디바이스 AI 환경 필요. 구형 모바일 기기의 제한적인 Memory 및 Compute 자원 내에서 ASR 모델과 LLM을 동시에 구동해야 하는 하드웨어 제약 상황 분석.
Technical Solution
- Memory Budget 최적화를 위해 E4B 모델 대신 2B-class인 Gemma 4 E2B 모델을 채택하여 ASR 모델과의 Co-residency 확보
- Moonshine-Tiny v2(27M parameters) 모델과 sherpa-onnx 런타임을 통한 경량화된 On-device Transcription 경로 구축
- 16kHz 오디오 캡처 및 Rolling Backbuffer 기반의 Foreground Service 설계로 무제한 길의 Brain-dump 입력 처리
- LiteRT-LM 엔진 내 NPU→CPU Backend Fallback 및 Mutex-guarded State Machine 적용으로 OOM(Out of Memory) 방지
- Deterministic Fuzzy De-duplication 로직을 통한 오버랩 윈도우 기반의 전사 텍스트 정밀 병합
실천 포인트
- 온디바이스 AI 설계 시 Target Device의 Memory Budget을 먼저 산정한 후 모델 크기를 결정했는가 - 다중 모델 구동 시 메모리 충돌 방지를 위한 Shared Engine Provider 및 Lock 메커니즘을 설계했는가 - 네트워크 단절 상황을 가정한 Airplane Mode 테스트를 통해 완전한 Offline 동작을 검증했는가 - 입력 데이터의 길이에 제한이 없는지 Rolling Buffer와 같은 스트리밍 처리 구조를 검토했는가