llama.cpp 기반 Ollama의 VRAM 최적화 및 Local LLM 추론 전략

Context

로컬 환경에서 LLM을 구동할 때 발생하는 하드웨어 제약과 설정 오류로 인한 성능 저하 문제 분석. 특히 기본 Context Window 설정값으로 인한 데이터 유실과 VRAM 부족 시 CPU 폴백으로 인한 심각한 레이턴시 증가가 주요 병목 지점으로 작용.

Technical Solution

• llama.cpp 런타임을 래핑한 구조를 통해 C/C++ 기반의 고성능 추론 환경 구축
• GGUF 포맷 채택으로 텐서, 토크나이저, 하이퍼파라미터를 단일 파일로 패키징하여 배포 효율성 증대
• 16-bit FP를 4-bit 정수로 변환하는 Q4_K_M Quantization을 통해 메모리 사용량을 약 75% 절감
• Apple Silicon의 Unified Memory 구조를 활용하여 GPU와 CPU 간 메모리 공유를 통한 대규모 모델 구동 지원
• num_ctx 설정을 통한 Context Window 제어로 하드웨어 리소스 할당과 모델 입력 범위 최적화
• 데이터 민감도 및 처리량에 따른 Local-Cloud 하이브리드 추론 아키텍처 설계