일일 500M Token 미만 환경에서 Self-hosting 대비 API 활용의 압도적 비용 효율성 검증

Context

오픈소스 LLM의 인프라 소유권 확보를 위해 A100 GPU 기반의 Self-hosting 아키텍처를 구축함. vLLM과 Nginx Reverse Proxy를 통한 추론 환경을 조성했으나, 낮은 트래픽 규모에서 발생하는 GPU Idle 리소스 낭비와 운영 오버헤드가 핵심 병목으로 작용함.

Technical Solution

• GPU 리소스 유휴 시간 80% 발생에 따른 고정비 부담을 제거하기 위해 Serverless API 구조로 전환
• vLLM, Monitoring, API Gateway 등 인프라 관리 계층을 제거하여 단일 API Endpoint 기반의 단순한 인터페이스 설계
• 모델 교체 시 인프라 재설정 없이 모델 식별자(String) 변경만으로 184종의 모델을 스위칭하는 추상화 계층 적용
• 개발 단계에서 다수 모델을 테스트하고 프로덕션에서 최적 모델을 선택하는 Stage-based 모델 선택 전략 도입
• 네트워크 오버헤드(100-300ms)를 수용하는 대신 인프라 유지보수 공수를 제로화하는 Trade-off 결정

Impact

• 일일 5M Token 처리 시 비용: Self-hosting 월 최소 $500 vs API 월 $37.50로 약 13배 이상 절감
• 일일 1M Token 규모 프로젝트 기준: API 활용 시 Self-hosting 대비 32배의 비용 효율 달성
• 인프라 운영을 위한 Hidden Cost(DevOps 공수, 모니터링, 업데이트 등) 월 최대 $4,900 제거