WebGPU 기반 WebLLM 도입으로 서버 비용 0원 및 완전한 개인정보 보호 구현

Context

민감한 의료 데이터 처리 시 발생하는 클라우드 서버 전송에 따른 개인정보 유출 위험과 네트워크 지연 시간이라는 구조적 한계 존재. 기존 AI 앱의 Thin Client-Heavy Backend 구조로는 실시간성과 데이터 프라이버시를 동시에 충족하기 어려운 상황 분석.

Technical Solution

• TVM.js 오케스트레이션 레이어 활용을 통한 로컬 GPU 기반 모델 가중치 직접 실행 구조 설계
• WebGPU API 지원 여부 판단 로직을 통한 하드웨어 가속 가능 여부 사전 검증 및 WASM/CPU Fallback 전략 수립
• Llama-3-8B-Instruct-q4f16_1-MLC 및 Phi-3-mini 등 Quantized 모델 채택으로 의료 추론 능력과 다운로드 크기 간의 Trade-off 최적화
• Streaming Response 구현을 통한 사용자 체감 지연 시간(Perceived Latency) 최소화
• Client-side Inference 기반의 Zero-server 아키텍처 전환으로 데이터 외부 유출 경로 원천 차단