Embedding Local LLMs in Your Mobile App

Context

클라우드 기반 LLM 추론은 네트워크 의존성과 데이터 유출 위험을 야기하며, 모바일 기기의 메모리 제약(iOS jetsam 한계) 내에서 고품질 LLM을 실행하기 어렵다. 또한 토큰 생성 속도(17~25 tok/s)에서 UI 프레임 드롭이 발생하는 것이 과제였다.

Technical Solution

• llama.cpp를 Kotlin Multiplatform에 통합: iOS는 cinterop, Android는 JNI를 통해 C API 호출
• Q4_K_M 양자화 적용: Mistral 7B를 4.4GB로 압축하면서 Q5_K_S 대비 2% 퍼플렉시티 손실로 유지
• 메모리 맵 기반 모델 로딩(mmap): 더티 메모리를 클린 메모리로 처리해 iOS 메모리 한계 회피
• callbackFlow + Channel.CONFLATED 기반 스트리밍 파이프라인: C 콜백을 코루틴으로 변환하고 UI 리컴포지션 중 토큰 병합으로 프레임드롭 방지
• GPU 위임 적응형 초기화: iOS Metal에서는 기본 활성화, Android NNAPI는 10토큰 벤치마크로 런타임 결정 후 공유 프레퍼런스에 캐시

Impact

• Q4_K_M 양자화로 Q5_K_S 대비 iOS에서 23% 빠른 추론 속도(18.4→22.7 tok/s)
• mmap 로딩으로 iOS 메모리 사용량 5.8GB 이하로 제약
• Metal GPU 위임 시 1.3~1.5배 속도 향상
• callbackFlow 패턴으로 UI 렌더링 시간 12ms 이하 유지로 60fps 스트리밍 달성

Key Takeaway

온디바이스 LLM 추론의 성공은 양자화 선택, 메모리 관리, 스레드 안전성 같은 기초적이고 지루한 세부사항에 달려 있으며, iOS와 Android의 메모리·GPU 차이를 구체적 수치로 이해하고 적응형 초기화하는 것이 프로덕션 배포의 핵심이다.