LLM API 호출 최적화로 실행 시간 4분에서 45초로 단축

Making LLM Calls Reliable: Retry, Semaphore, Cache, and Batch

Oscar Rieken2026년 5월 23일6분intermediate

AI 요약

Context

소스 파일당 다수의 public member에 대해 개별 LLM API를 호출하는 구조로 인한 높은 실패 확률과 Rate Limit 발생 가능성 존재. 다량의 호출로 인한 지연 시간 증가 및 반복 실행 시의 리소스 낭비가 주요 병목 지점으로 작용.

Technical Solution

Exponential Backoff 기반 Retry Middleware 설계를 통한 transient error 및 Rate Limit의 자동 복구 체계 구축
Semaphore 패턴을 적용한 Concurrent Call 제한으로 API Provider의 Rate Limit 임계치 초과 방지
SHA-256 해시 기반 Content-addressed Cache 도입을 통한 동일 소스 코드에 대한 중복 호출 제거
개별 호출 방식을 JSON structured output 기반의 Batch Generation으로 전환하여 API 호출 횟수 획기적 감소
Interface Segregation Principle을 적용한 cacheStatsReporter 설계로 CLI 레이어와 LLM 구현체 간의 의존성 분리
Retry 로직 외부와 Semaphore 로직 내부를 계층화하여 대기 상태에서의 슬롯 점유를 방지하는 최적화된 미들웨어 스택 구성

실천 포인트

- API 호출 시 지수 백오프를 적용한 Retry 로직을 최상위 레이어에 배치했는가 - 동시성 제어를 위한 Semaphore가 Retry 대기 시간 동안 리소스를 점유하지 않도록 설계되었는가 - 입력 값의 해시 기반 캐싱을 통해 불필요한 외부 호출을 제거했는가 - 단일 호출을 묶어 처리하는 Batch Interface를 통해 네트워크 오버헤드와 호출 횟수를 최적화했는가

태그

#Content-addressed Cache #Batch Generation #Interface Segregation #Exponential Backoff #Semaphore

원문 읽기