Exponential Backoff와 Token Budget 관리를 통한 대규모 LLM 생성 파이프라인 최적화

Context

단순 API 호출 기반의 LLM 텍스트 생성 구조는 대규모 배치 처리 시 Rate Limit 및 비용 제어 실패 가능성 상존. 단순 요청 횟수 기반 제어가 아닌 TPM, RPM 등 다차원 제한으로 인한 데이터 불일치 및 쓰레싱 현상 발생.

Technical Solution

• 429 Error 해결을 위한 Exponential Backoff 및 Jitter 도입으로 Retry Storm 방지 및 요청 분산 유도
• Tiktoken 라이브러리를 통한 사전 Token Counting 기반의 Token Budget 설계로 불필요한 입력 비용 제거
• Style Guide의 구조화 및 System Message 캐싱을 통한 Per-request 고정 비용 최적화
• 중복 생성 방지를 위한 Input Hash 기반 Deduplication 및 저장소 계층의 Idempotency 확보
• Batch 처리 목적의 Throughput 최적화와 사용자 대기 시간 단축을 위한 Streaming 아키텍처의 명확한 분리
• max_tokens의 엄격한 제한을 통한 Redundant Padding 제거 및 출력 품질 제어