Quantization 및 Domain-Specific LLM을 통한 오프라인 Voice AI 구현

Context

에티오피아 내 인터넷 보급률 부족으로 인한 학습 격차 해소를 위해 완전 오프라인 환경의 Voice AI Tutor 설계 필요. 범용 모델의 방대한 크기로 인한 저사양 Android 기기 내 메모리 부족 및 배터리 소모 문제가 주요 병목 지점으로 작용.

Technical Solution

• Quantization 및 Pruning 기법을 적용하여 Whisper 모델 크기를 1.5GB에서 200MB로 축소하며 85% Accuracy 유지
• 범용 모델 대신 교육 도메인에 특화된 1.3B Parameter 소형 LLM을 Fine-tuning 하여 모델 크기를 10배 절감
• Wake word detection 시 CPU 점유율을 2%로 제한하는 Aggressive Power Management 설계로 배터리 효율 극대화
• Voice Input $\rightarrow$ Local Whisper $\rightarrow$ Local LLM $\rightarrow$ Local TTS로 이어지는 On-device 파이프라인 구축
• App kill 상황에서도 대화 맥락을 유지하는 Conversation State Persistence 로직 구현

Impact

• 기존 학습법 대비 수학 성적 78% 향상
• 모국어 기반 학습 환경 제공을 통한 학습 연습량 3배 증가
• 사용자 92%가 AI 기반 질의응답에 높은 심리적 자신감 표명

Key Takeaway

이상적인 성능보다 환경적 제약 사항(Constraint)을 우선순위에 둔 설계가 실질적인 제품 가치를 창출하며, 특정 도메인에 최적화된 소형 모델이 범용 모델보다 효율적인 대안이 될 수 있음.