WebGPU 기반 WebLLM 도입으로 서버리스 개인정보 보호 의료 데이터 파싱 구현

Context

클라우드 기반 LLM 사용 시 HIPAA, GDPR 등 엄격한 의료 데이터 규제로 인한 보안 감사 및 법적 리스크 발생. 데이터 전송 과정에서 발생하는 개인정보 유출 가능성과 서버 운영 비용이 주요 병목 지점으로 작용.

Technical Solution

• WebGPU 가속을 통한 브라우저 내 GPU 직접 제어로 로컬 추론 환경 구축
• TVM.js 기반 WebLLM 엔진을 활용하여 Llama-3-8B-q4f16 양자화 모델을 브라우저 메모리에 로드
• Browser Sandbox 내에서 데이터 처리를 완결하여 서버 전송을 완전히 배제한 Zero-leakage 구조 설계
• Deterministic한 JSON 출력을 위해 Temperature 0.0 설정 및 엄격한 Prompt Template 적용
• IndexedDB 캐싱을 통한 모델 재로드 시간 단축 및 네트워크 라운드 트립 제거
• VRAM 제약 대응을 위해 Phi-3, TinyLlama 등 소형 모델로의 Fallback 전략 수립