WebLLM과 WASM 기반의 Browser-Local RAG 런타임 아키텍처 구현

Context

기존 AI 채팅 위젯의 서버 의존적 API 호출 구조로 인한 Network Round-trip 증가와 추론 비용 발생 및 프라이버시 제약 해결 필요. 브라우저를 단순한 UI Shell이 아닌 독립적인 Inference Runtime으로 전환하여 서버리스 로컬 추론 환경 구축을 목표로 함.

Technical Solution

• WebLLM을 모델 자체가 아닌 실행 엔진으로 정의하여 Llama, Phi 등 다양한 모델을 동적으로 로드하는 런타임 구조 설계
• WASM을 통한 저수준 실행 계층 확보로 텐서 연산 및 토큰 생성 등 Compute-heavy 작업의 네이티브 수준 성능 구현
• WebLLM(생성)과 ONNX Runtime Web(임베딩 및 리랭킹)의 역할을 분리하여 작업 특성에 최적화된 추론 경로 구성
• Web Workers를 오케스트레이션 경계로 설정하여 메인 스레드 차단을 방지하고 UI 응답성을 유지하는 백그라운드 실행 구조 채택
• 시맨틱 및 렉시컬 신호를 결합한 Hybrid Scoring과 Confidence Gating을 포함한 로컬 RAG 파이프라인 구축
• 브라우저 캐시를 활용한 모델 아티팩트 재사용 설계를 통해 First-run 비용 이후의 세션 진입 속도 최적화