VPN 전면 차단 환경을 극복한 Local LLM 기반 Full-Stack 개발 환경 구축

Context

러시아 내 상용 VPN 99% 차단으로 인한 GCP, Gemini, Claude 등 외부 AI API 접근 불가 상황 발생. 기존 Cloud-native 개발 워크플로우가 완전히 마비된 환경에서 Enterprise 수준의 코드 생성 및 분석 능력 확보가 시급한 상태.

Technical Solution

• GGUF 포맷의 Open-weight 모델(Gemma 4, Qwen 2.5 Coder, DeepSeek Coder)을 SSD에 사전 확보하여 네트워크 의존성 제거
• Ollama를 통한 Local Inference 서버 구축으로 외부 API 호출 없이 로컬 리소스 내에서 LLM 구동
• VSCode와 Continue 플러그인을 연동하여 Autocomplete, Chat, Code Generation 등 태스크별 전용 모델을 매핑한 하이브리드 추론 구조 설계
• VRAM 부족 문제를 해결하기 위해 CPU 및 RAM 기반 추론 설정과 config.yaml 최적화를 통한 시스템 안정성 확보
• Skillware의 Prompt Rewriter를 도입하여 토큰 사용량을 압축함으로써 제한된 로컬 리소스 내 컨텍스트 처리 효율 극대화
• Repo-level 컨텍스트 주입 및 단계적 Task Planning 설정을 통한 복잡한 Multi-step 엔지니어링 태스크 수행 능력 구현