Ollama와 DeepSeek 기반 Air-gapped 로컬 코파일럿 구축

Context

Cloud-based AI 도구의 구독 비용 지출과 데이터 프라이버시 침해 문제 발생. 네트워크 의존성으로 인한 Latency 및 서버 장애 시 개발 생산성 저하라는 구조적 한계 존재.

Technical Solution

• Inference Engine으로 Ollama를 채택하여 Local GPU 가속 및 Memory Management 최적화
• DeepSeek-Coder-V2 Quantized 모델을 통한 하드웨어 제약 조건(16GB~32GB RAM) 내 추론 성능 확보
• Continue Extension의 API Endpoint를 Localhost(127.0.0.1:11434)로 리다이렉션하여 데이터 외부 유출 차단
• Tab Autocomplete와 Chat Sidebar 기능을 분리하여 Local LLM 기반의 코드 생성 파이프라인 구축
• 모델 크기에 따른 하드웨어 리소스 매핑(8GB RAM의 경우 qwen2.5-coder:1.5b 권장)으로 실행 가능성 확보