LLM Agent 토큰 낭비 40-60% 절감을 위한 비용 최적화 아키텍처 설계

Context

멀티스텝 Agent 워크플로우의 반복적인 System Prompt 전송과 Context 누적으로 인한 기하급수적 비용 증가 발생. 특히 단순 태스크에 Frontier Model을 일괄 적용하는 Model Misallocation으로 인해 추론 비용 효율성이 저하되는 구조적 한계 노출.

Technical Solution

• Task-aware Model Routing 도입을 통한 의도 분류 및 포맷 검증 등 단순 작업의 소형 모델 이관으로 비용 효율 극대화
• Token Budget Management 설계를 통해 Soft/Hard Limit 기반의 동적 실행 제어 및 임계치 도달 시 강제 요약 로직 수행
• Context Pruning 전략을 적용하여 System Prompt와 최신 N개 턴만 유지하고 중간 내역은 저가형 모델로 요약하는 구조 설계
• Prompt Caching 및 Request Batching을 통한 중복 입력 토큰 비용 제거 및 지연시간 허용 작업의 처리 비용 최적화
• Structured Output Mode 적용으로 불필요한 생성 토큰을 억제하고 정밀한 데이터 추출을 통한 출력량 최적화