WebGPU 기반 WebLLM 및 Transformers.js 활용 100% Local Health AI 구현

Context

민감한 의료 데이터 처리 시 중앙 집중형 API 사용으로 인한 데이터 유출 위험과 개인정보 보호 제약 발생. 클라이언트-서버 모델의 구조적 한계로 인해 데이터 주권 확보와 HIPAA/GDPR 준수를 위한 로컬 추론 환경 필요.

Technical Solution

• WebGPU 가속을 통한 브라우저 내 GPU 직접 제어로 서버리스 로컬 인프라 구축
• Transformers.js 기반 Xenova/whisper-tiny 모델 채택을 통한 브라우저 내 음성-텍스트 변환 처리
• WebLLM과 Llama-3-8B-Instruct 모델 결합으로 데이터 외부 전송 없는 온디바이스 요약 로직 구현
• 4-bit Quantization(q4f16_1) 적용을 통한 8GB-16GB RAM 환경 내 메모리 풋프린트 최적화
• Web Worker 도입을 통한 무거운 모델 추론 과정의 메인 스레드 분리로 UI 반응성(60fps) 유지
• Browser Cache 최적화를 통한 기가바이트 단위 모델 가중치의 초기 다운로드 비용 절감