Metal GPU 가속 기반 iPhone 온디바이스 Vision AI 구현

Context

기존 Cloud 기반 Vision AI의 데이터 유출 리스크 및 서버 의존성 문제 분석. Apple Intelligence의 Private Cloud Compute 방식조차 완전한 Local 제어가 불가능한 아키텍처적 한계 존재.

Technical Solution

• Metal GPU acceleration을 통한 온디바이스 추론 파이프라인 구축으로 네트워크 요청 제거
• Vision Encoder와 Language Model을 결합한 VLM(Vision-Language Model) 구조 채택
• Multimodal Projector(mmproj) 파일을 통한 이미지 토큰의 언어 모델 입력값 변환 공정 설계
• 디바이스 RAM 용량(6GB~8GB)에 따른 SmolVLM(500M~2.2B) 등 모델 사이즈 최적화 전략 적용
• Selective Activation 기술을 활용한 Gemma 3n E4B 모델의 메모리 점유율 효율화
• 로컬 런타임 환경 구축을 통한 데이터 전송 단계 삭제 및 개인정보 보호 아키텍처 완성