Chrome의 Gemini Nano 강제 설치를 통한 On-device AI 환경 구축 분석

Context

기존 Cloud 기반 LLM의 높은 Latency와 API Key 의존성 및 개인정보 노출 위험을 해결하기 위한 아키텍처적 전환 필요성 대두. 사용자 기기 자원을 활용한 Local Inference 환경을 통해 Privacy-by-design 및 실시간 응답성을 확보하려는 시도임.

Technical Solution

• Component Updater 메커니즘을 활용하여 사용자 동의 없이 Gemini Nano 모델을 백그라운드에서 자동 배포하는 구조 설계
• .pb (Protocol Buffers) 포맷 및 자체 메타데이터 JSON을 활용하여 표준 툴의 분석을 어렵게 만드는 모델 래핑 전략 채택
• OptimizationGuide 경로 내 optimization_guide_model_store 폴더에 모델 파일을 배치하여 브라우저 구성 요소로 관리
• GPU 미사용 Helper 프로세스를 통한 RAM 상주 상태 유지를 통해 추론 요청 시 즉각 대응 가능한 Pre-warming 전략 적용
• update.googleapis.com과의 다중 연결을 통해 대용량 모델 파일을 조용히 분할 다운로드하는 전송 파이프라인 구축