LLM Tiering 전략을 통한 Agent 비용 최적화 및 신뢰성 확보

Context

단순 Chatbot과 달리 Agent는 다단계 Tool Invocation과 Reasoning 과정을 거치며 에러율이 누적되는 구조적 한계 존재. 일반적인 벤치마크 지표보다 Tool-calling Fidelity와 Long-horizon Adherence가 실제 시스템 안정성을 결정하는 핵심 변수로 작용.

Technical Solution

• Tool-calling Fidelity 검증을 통한 Schema 준수 및 Parameter 생성 오류 최소화 설계
• System Prompt의 제약 사항 유지력을 측정하여 Long-horizon Adherence 최적화
• Context Window 내 정보 회수율(Effective Recall) 분석을 통한 상태 관리 효율화
• 워크플로우 복잡도에 따라 모델을 구분하여 배치하는 Tiered Routing 아키텍처 도입
• 단순 Token 단가가 아닌 Task 완료 기준의 Total Cost 산정 방식 적용
• 도메인 특화 Edge Case를 포함한 20~50개의 자체 Eval Suite 구축 및 분기별 회귀 테스트 수행