로컬 LLM 비용 최적화, Token Bucket 기반 Rate Limiting 전략

Context

로컬 LLM 구동 시 CPU, GPU, VRAM 등 물리적 자원의 예측 불가능한 소모 발생. 무분별한 요청 유입 시 시스템 불안정성 및 Out-Of-Memory(OOM) 오류 유발. 하드웨어 마모와 전력 소비 등 실질적 운영 비용 관리 체계 부재.

Technical Solution

• Token Throughput(TPS) 중심의 모니터링 체계 구축 및 Input/Output 토큰 분리 측정 방식 도입
• VRAM 내 KV Cache의 선형적 증가 특성을 고려한 가용 메모리 관리 전략 수립
• 요청 폭주 방지를 위해 단순 카운터 대신 Burst 트래픽 처리가 가능한 Token Bucket 알고리즘 적용
• GPU 병렬 연산 효율을 극대화하기 위해 여러 요청을 묶어 처리하는 Dynamic Batching 구조 설계
• RAG 구현 시 Context Window 초과 방지를 위한 Re-ranking 및 요약(Summarization) 단계 추가

Key Takeaway

추론 자원을 무한한 API가 아닌 유한한 물리 자원으로 인식하고, 처리량과 메모리 대역폭을 제어하는 운영 경제학적 관점의 설계 필요.