Async 및 Batch API 도입을 통한 LLM 처리량 50배 증대 및 비용 50% 절감

Context

동기식 루프 기반의 LLM API 호출 방식은 요청 수 증가 시 심각한 병목 지점을 형성함. 특히 10만 건 이상의 대규모 처리 시 토큰 비용 급증으로 인한 유닛 경제성 악화 및 처리 시간 지연 문제가 발생함.

Technical Solution

• asyncio.gather를 활용한 비동기 병렬 호출 구조 설계로 I/O Wait 시간 최소화
• asyncio.Semaphore를 도입하여 동시 요청 수를 제어함으로써 API Rate Limit(429 Error) 발생 방지
• Tenacity 라이브러리 기반의 Exponential Backoff 전략을 적용하여 일시적 API 장애 및 Rate Limit에 대한 복원력 확보
• 실시간성이 불필요한 대량 데이터 처리를 위해 SLA 24시간의 Batch API로 전환하여 인풋/아웃풋 비용 최적화
• 요청 성격에 따라 Real-time(Async)과 Offline(Batch) 경로를 분리한 하이브리드 처리 파이프라인 구축

Impact

• 처리 속도 개선: Sync 방식(0.5 RPS) 대비 Async 방식 도입 시 최대 28 RPS 수준으로 약 30~50배 성능 향상
• 비용 절감: Batch API 활용 시 Input/Output 토큰 비용 50% 감소
• 안정성 확보: Semaphore 제어 및 Max 5회 재시도 로직을 통한 Production 수준의 에러 핸들링 구현

Key Takeaway

시스템의 요구 사항이 Real-time 응답인지 대량 데이터 처리인지에 따라 Async와 Batch 전략을 명확히 분리하는 설계가 필수적이며, 외부 API 의존성이 높은 시스템일수록 Client-side에서의 처리량 제어와 지수 백오프 기반의 재시도 전략이 시스템 안정성을 결정함.