On-device LLM 도입을 통한 API 비용 제로화 및 데이터 프라이버시 확보

Context

제3자 LLM API 의존 시 발생하는 Token 기반의 가변적 비용 증가와 사용자 데이터 외부 유출 위험 존재. 네트워크 왕복으로 인한 Latency 발생 및 오프라인 환경에서의 기능 작동 불능이라는 구조적 한계 직면.

Technical Solution

• Quantization 기법을 적용한 소형 모델 도입으로 모바일 기기의 제한된 리소스 내 추론 가능 구조 설계
• tflite_flutter 패키지를 통한 TensorFlow Lite 형식의 모델 통합으로 On-device Inference 구현
• TinyLlama(1.1B), Phi-2(2.7B) 등 특정 Task에 최적화된 Quantized LLM 선택을 통한 메모리 효율 최적화
• Local Storage 기반 모델 로딩 방식을 통한 네트워크 의존성 제거 및 Offline Functionality 확보
• 고성능 추론 필요 시 Ollama 및 llama.cpp 기반의 Self-hosted Inference 서버 구축으로 벤더 종속성 탈피