HyDRA 기반 모델 라우팅과 Prompt Caching을 통한 토큰 효율 극대화

Context

에이전트 기반 작업 확장으로 인한 컨텍스트 규모 증가와 반복적인 토큰 소모 발생. 단일 모델 사용 시 작업 복잡도에 상관없이 동일한 자원을 투입함으로써 발생하는 비효율성과 비용 최적화 필요성 대두.

Technical Solution

• Prompt Caching 도입을 통한 반복적 프롬프트 접두사(Prefix) 재사용 및 연산 비용 절감
• Tool Search 메커니즘 구현으로 모든 Tool Schema 대신 필요한 정의만 On-demand로 로드하여 컨텍스트 점유 최소화
• HyDRA 라우팅 모델을 통한 작업 의도(Intent), 코드 복잡도, 추론 깊이에 따른 최적 모델 동적 할당
• Real-time Model Health 엔진을 연동하여 모델 가용성, 속도, 에러율 등 시스템 상태를 반영한 실시간 라우팅 결정
• Cache-aware Routing 전략을 통해 모델 전환 시 발생하는 캐시 파괴를 방지하고 자연스러운 캐시 경계(First turn, Compaction)에서만 모델 변경 수행
• Task-aware Routing과 모델 상태 신호를 결합하여 품질 저하 없는 비용 최적화 구조 설계