인프라 비용 0원, 브라우저 로컬 LLM 실행 전략

Context

AI 모델 실행을 위한 고비용 GPU 클러스터 및 서버 인프라 의존성 심화. 데이터 전송 과정에서의 개인정보 유출 위험과 네트워크 연결 필수 조건이라는 제약 발생.

Technical Solution

• WebGPU API를 통한 브라우저 내 GPU 가속 컴퓨팅 환경 구축
• ONNX 포맷을 활용해 PyTorch나 TensorFlow 모델의 플랫폼 독립적 실행 구조 확보
• WebAssembly(Wasm)를 폴백(Fallback) 레이어로 설정하여 GPU 미지원 기기에서도 CPU 기반 추론 가능케 하는 설계
• Transformers.js의 Pipeline 추상화를 통해 모델 로드부터 입력-출력까지의 프로세스를 단일 인터페이스로 통합
• 메인 스레드 블로킹 방지를 위해 Web Worker 내에서 AI 추론 로직을 격리하여 실행하는 비동기 처리 방식
• 모델 파일을 CDN에서 최초 1회 다운로드 후 브라우저 캐시에 저장하여 재방문 시 즉각적인 추론 성능 제공

Impact

• 텍스트 임베딩 및 개체명 인식(NER) 등 경량 작업 시 약 30MB~80MB 수준의 모델 크기 유지
• 요약 모델 기준 약 600MB 규모의 모델 브라우저 내 구동 확인

Key Takeaway

특정 기능이 반복적으로 사용되는 SaaS 환경에서는 서버 API 호출 대신 클라이언트 사이드 캐싱 모델을 통해 추론 비용을 완전히 제거하고 프라이버시를 강화하는 아키텍처 전환이 유효함.