Sparse Architecture 기반 On-Device AI의 추론 비용 $0 달성과 프라이버시 최적화

Context

기존 Cloud-based AI 모델은 추론 시 토큰 단위 과금으로 인한 선형적 비용 증가와 Agentic workload의 비용 폭발 문제 직면. 데이터 전송에 따른 프라이버시 침해 위험과 네트워크 의존성으로 인한 지연 시간 발생이 시스템적 한계로 작용.

Technical Solution

• Instruction-Following Pruning(IFP) 도입을 통한 20B 파라미터 모델의 효율적 운용
• 전체 가중치는 Flash에 저장하되 요청별로 필요한 1~4B 파라미터만 DRAM으로 스와핑하는 Sparse 구조 설계
• MoE(Mixture-of-Experts) 및 Per-Layer Embeddings 적용으로 토큰당 활성 파라미터 수를 최소화하여 메모리 풋프린트 절감
• On-Device NPU 가속기를 통한 4~8B 클래스 모델의 실시간 추론 환경 구축
• Local-first AI Framework 및 Routing Layer 설계를 통해 저복잡도 작업은 온디바이스에서, 고복잡도 추론은 클라우드에서 처리하는 하이브리드 구조 채택

Impact

• 추론당 한계 비용(Marginal Cost)을 $0로 절감
• AFM 3 이미지 이해도 인간 평가 지표 이전 세대 대비 61% 개선
• On-Device TTS MOS 점수 3.82에서 4.24로 상승
• Gemma 4 엣지 모델의 3GB RAM 최적화 및 128K Context Window 확보

Key Takeaway

모델의 전체 크기와 실제 추론 시 활성화되는 파라미터 수를 분리하는 Sparse 아키텍처가 온디바이스 AI의 실용성을 결정하는 핵심 설계 원칙임.