On-device Vision AI 구현을 통한 7초대 로컬 추론 및 데이터 프라이버시 확보

Context

Cloud 기반 Vision AI의 중앙 서버 의존성으로 인한 데이터 유출 위험 및 네트워크 지연 발생. 대규모 모델의 서버 실행 방식은 민감 정보 처리 시 프라이버시 제약 사항으로 작용함.

Technical Solution

• Vision Encoder와 Language Model을 결합한 VLM 아키텍처의 On-device 최적화 구현
• mmproj(Multimodal Projector) 파일을 통한 이미지 토큰의 텍스트 임베딩 공간 변환 처리
• 기기 RAM 용량(6GB~8GB+)에 따른 모델 파라미터 규모(500M~8B)의 계층적 선택 구조 채택
• Vision-Language 모델의 선택적 활성화를 통한 모바일 메모리 점유율 최적화
• 로컬 RAM 내에서 이미지 캡처부터 추론까지 이어지는 End-to-End 파이프라인 구축

Impact

• Flagship 기기 기준 SmolVLM 500M 모델의 추론 시간 약 7초 달성
• 모델 크기 500M~2.2B 범위의 다변화를 통해 추론 속도와 정확도 간 Trade-off 조절
• 600MB 수준의 경량 모델 배포를 통한 진입 장벽 완화 및 로컬 실행 환경 구축

Key Takeaway

엣지 디바이스의 하드웨어 제약(RAM, NPU)에 맞춘 모델 경량화와 모듈형 프로젝트 파일(mmproj) 구조를 통한 온디바이스 멀티모달 추론 가능성 확인