RTX 4070 VRAM 최적화 기반 Local VLM 구축으로 Token 비용 제로화

Context

Cloud LLM 기반 Visual Query 수행 시 이미지당 약 1,548 Tokens가 소모되어 API Quota 및 비용 부담 가중. 특히 복잡한 인터페이스 분석을 위한 잦은 스크린샷 전송이 코드 생성에 필요한 Token 할당량을 잠식하는 병목 지점으로 작용.

Technical Solution

• RTX 4070의 12GB VRAM 제약을 극복하기 위해 파라미터 효율성이 높은 qwen2.5-vl:7b 모델 채택
• Ollama 및 llama.cpp 기반의 Local Inference 환경을 구축하여 데이터 외부 유출 차단 및 비용 제거
• Flask 기반의 경량 API 서버를 설계하여 Browser-to-GPU 간의 Base64 이미지 전송 파이프라인 구현
• Tailscale 도입을 통한 Private Network 구성으로 외부 접근 보안성 확보 및 원격 제어 가능 구조 설계
• VLM의 Vision-to-Text 파싱 결과물을 별도 Agent에 전달하여 맥락을 해석하는 2단계 추론 구조 적용