추론 비용 99% 절감, Gemma 4 기반 하이브리드 LLM 설계

Context

모든 메시지 분류 작업에 Hosted LLM을 사용하여 추론 비용의 80%가 단일 에이전트에 집중되는 구조. 네트워크 홉으로 인한 지연 시간 발생과 높은 API 호출 비용이 주요 병목 지점.

Technical Solution

• 단순 분류 작업(Classifier)을 RTX 4090 단일 서버 내 Gemma 4 4B 모델로 대체하는 하이브리드 추론 구조 설계
• Ollama 및 llama.cpp 서버를 활용하여 기존 에이전트 프레임워크와 호환되는 로컬 OpenAI-compatible 엔드포인트 구축
• Cold Start 방지를 위해 모델을 메모리에 상주시키는 keepalive 설정 적용
• VRAM OOM 방지를 위해 동시 로컬 호출 수를 3개로 제한하고 나머지는 큐잉하는 요청 제어 전략 도입
• 소형 모델의 낮은 지시 이행 능력을 보완하기 위해 Hosted 모델용 대화형 프롬프트와 Gemma용 명시적·간결한 프롬프트를 분리 운영
• 200개의 레이블링된 데이터셋 기반 Eval set을 구축하여 모델 및 프롬프트 변경 시 정합성 검증 체계 마련

Impact

• Median Latency: Hosted Sonnet(1.8s) 대비 Gemma 4 local(0.25s)로 약 86% 단축
• p95 Latency: Hosted Sonnet(4.2s) 대비 Gemma 4 local(0.6s)로 약 85% 단축
• 비용: 1k 호출당 Hosted Sonnet($4.50) 대비 Gemma 4 local($0.04)로 비용 99% 절감
• 성능: 분류 작업 기준 Hosted 모델과 약 94%의 일치율 기록

Key Takeaway

모든 작업에 고성능 모델을 사용하는 대신, 작업의 복잡도에 따라 Local 소형 모델과 Hosted 대형 모델을 적절히 배치하는 계층적 추론 아키텍처의 효율성 입증.