WebGPU 기반 Browser-native LLM을 통한 Zero-latency 오프라인 추론 구현

Context

Cloud-dependent AI 아키텍처의 단일 장애 지점(SPOF) 및 네트워크 의존성으로 인한 가용성 저하 문제 발생. 특히 오지, 군사 작전 구역 등 통신 제한 환경에서의 실시간 추론 불가 및 민감 데이터 전송에 따른 컴플라이언스 비용 증가가 핵심 병목 지점으로 작용.

Technical Solution

• WebGPU API를 통한 브라우저 내 GPU 직접 접근으로 클라이언트 사이드 추론 가속화
• WebLLM 기반의 모델 로컬 캐싱 전략을 통한 네트워크 호출 제로화 달성
• Qwen2.5-3B-Instruct-q4f32_1-MLC 등 경량화 모델의 WASM 컴파일을 통한 런타임 최적화
• 서버리스 추론 구조 설계를 통한 인프라 프로비저닝 및 API Key 관리 오버헤드 제거
• 데이터 전송 자체를 원천 차단하는 Architecture-level Privacy 설계로 법적 규제 준수
• Local LLM과 Local Vector Store를 결합한 완전 오프라인 RAG 시스템으로 확장 가능한 구조 채택