인프라 비용 82% 절감, 전략적 모델 라우팅과 pgvector 도입 사례

Context

전체 파이프라인에 GPT-4 단일 모델만 사용하는 고비용 구조. 50만 건 이상의 문서 처리 시 발생하는 과도한 API 비용 문제. 캐싱 및 배치 처리 부재로 인한 리소스 낭비 발생.

Technical Solution

• 쿼리 복잡도 분석 기반의 Multi-Model Routing 계층 구축을 통한 비용 최적화
• 단순 분류 및 추출 작업은 GPT-4o-mini와 Claude Haiku 등 경량 모델로 대체하는 전략
• 고정 비용 발생의 Pinecone을 제거하고 기존 PostgreSQL의 pgvector 확장 모듈로 벡터 저장소 통합
• 쿼리 임베딩 기반의 유사도 측정(임계치 0.95)을 통한 Semantic Caching 계층 도입
• 실시간성이 낮은 문서 분류 작업을 야간 Batch API 처리 방식으로 전환하여 단가 절감
• 고볼륨·저복잡도 작업의 경우 Llama 3.1 70B 모델의 Self-hosting 기반 처리 설계

Impact

• 월 인프라 비용: $47,000 → $8,200 (약 82% 절감)
• 평균 쿼리 지연 시간: 2.1s → 1.8s
• 처리량: 월 50만 건 유지
• 품질 점수: 94% → 93% (1% 하락)
• 모델별 비용 절감률: 분류(-99.5%), 추출(-99.2%), 추론(-90%), Q&A(-92%), 요약(-98%)

Key Takeaway

단일 고성능 모델 의존성을 탈피하고 작업 난이도에 맞는 모델을 배치하는 계층적 라우팅 설계의 중요성. 데이터 규모와 지연 시간 요구사항을 분석하여 관리형 서비스보다 오픈소스 확장 모듈이 효율적인 지점을 식별하는 엔지니어링 판단력 필요.