WebGPU 기반 Browser-LLM 도입으로 PHI 유출 제로화 및 Zero-Latency 구현

Context

기존 Cloud LLM 아키텍처의 PHI 전송 과정에서 발생하는 HIPAA 위반 리스크와 데이터 보안 취약점 분석. 네트워크 왕복으로 인한 수백 ms에서 수 초의 Latency가 긴급 의료 상황의 병목 지점으로 작용함.

Technical Solution

• WebGPU API 활용을 통한 브라우저 내 GPU 가속 Tensor 연산 및 Native 수준의 추론 속도 확보
• WebLLM 기반의 INT4 Quantization 모델을 WASM Bytecode로 컴파일하여 브라우저 샌드박스 내 실행 환경 구축
• Transformers.js 기반 Local NER 파이프라인을 통한 PII Scrubber 선행 배치로 데이터 익명화 로직 구현
• Service Worker 및 IndexedDB를 활용한 모델 캐싱으로 네트워크 독립적인 Offline Inference 구조 설계
• LoRA Adapter Hot-swapping 및 Local RAG(Voy, Orama) 결합을 통한 도메인 특화 지식 추출 최적화