Semantic Caching 기반 LLM 호출 90% 절감 및 Agent 신뢰성 확보

Context

프로토타입 단계의 AI Agent를 프로덕션으로 전환 시 발생하는 API 신뢰성, 비용, 관찰 가능성 결여 문제 분석. 반복적인 Retry, Caching, Circuit Breaker 등 Boilerplate 코드의 중복 작성으로 인한 개발 효율성 저하 발생.

Technical Solution

• Framework-agnostic Middleware SDK 구조를 통한 비즈니스 로직과 인프라 계층의 완전한 분리
• @readonly 및 @sideeffect 데코레이터를 통한 읽기/쓰기 작업의 명확한 architectural distinction 설계
• Vector Embedding 기반 Semantic Cache 도입으로 단순 문자열 일치를 넘어선 의미론적 중복 호출 제거
• Request Coalescing 메커니즘을 통한 Thundering Herd 문제 해결 및 API Rate Limit 보호
• Stale-If-Error 전략을 적용하여 업스트림 API 장애 시 최신 캐시 데이터를 반환하는 Fallback 구조 구현
• Modular Install 시스템을 통한 의존성 최소화 및 OTel 기반의 관찰 가능성 확보

Impact

• Semantic Caching 적용 시 LLM API 호출 횟수 최대 90% 절감
• Request Coalescing을 통한 동시 다발적 동일 요청의 API 호출 1회 최적화