Gemma 4 9B 기반 Local LLM 도입으로 운영 비용 66% 절감 및 API 의존성 제거

Context

40개 이상의 RSS 피드를 모니터링하여 Slack으로 요약본을 전송하는 워크플로우 운용. 기존 GPT-3.5-turbo API 기반 구조는 토큰당 과금 체계로 인해 API 호출 횟수와 프롬프트 길이를 보수적으로 설계해야 하는 제약 존재.

Technical Solution

• GPU 없는 저사양 VPS(3 vCPU, 4GB RAM) 환경 내 CPU Inference 구현을 통한 인프라 비용 최적화
• 모델 파라미터 크기와 추론 속도 및 품질 간의 Trade-off 분석을 통해 9B 모델의 4-bit Quantization(Q4_K_M) 버전 채택
• Ollama를 활용한 Local LLM 서빙 환경 구축으로 API 호출 비용을 0으로 전환하여 처리 주기 단축 및 중복 검증 로직 도입
• 6시간 주기 Cron Job 기반의 배치 처리 아키텍처 설계를 통한 리소스 피크 타임 분산 및 효율적 메모리 관리
• 8,000 토큰 규모의 배치 컨텍스트 처리를 통한 개별 아이템 분석의 효율성 증대

Impact

• 월 운영 비용: $22.00(API 포함) $\rightarrow$ $7.40(VPS 전용)로 66% 감소
• 처리 성능: 40개 피드에서 약 200개 아이템 처리 시 평균 4.2초 소요
• 리소스 사용량: Peak 메모리 3.1GB 사용으로 4GB RAM 제한 내 안정적 구동
• 품질 지표: 스팸 필터링 정확도 85% 달성 및 중요 항목 누락률 0.3% 기록

Key Takeaway

추론 품질이 '충분한 수준(Good Enough)'인 특정 태스크의 경우, Marginal Cost가 0인 Local LLM 전환을 통해 설계 철학을 '비용 최적화'에서 '기능 극대화'로 변경 가능