1.3B 파라미터 MiniCPM-V 4.6 기반의 On-Device Multimodal Tiered Architecture

Context

Frontier Model 중심의 Cloud-centric AI 구조는 높은 추론 비용과 네트워크 지연 시간으로 인해 소비자 서비스의 마진을 저하시키는 한계가 있음. 특히 단순 반복 작업까지 고성능 모델을 사용하는 비효율적인 리소스 배분이 병목 지점으로 작용함.

Technical Solution

• 1.3B 규모의 경량 Multimodal Model을 Edge 단에 배치하여 고빈도 요청을 처리하는 Local-first 구조 설계
• Mixed 4x/16x Visual Token Compression 기술을 적용하여 모바일 하드웨어 제약 내 처리량 최적화
• vLLM, llama.cpp, Ollama 등 Open-source Serving Stack과의 호환성을 확보하여 배포 효율성 극대화
• Local Model(80% routine)과 Cloud Frontier Model(20% complex)을 분리한 Tiered Inference 아키텍처 구축
• Eval-driven Routing 로직을 통해 워크플로우별 모델 신뢰도를 학습하고 최적의 모델로 요청을 분기하는 제어 계층 구현