실패 경로 조기 차단을 통한 LLM 토큰 비용 28~64% 절감

Context

LLM Agent의 max_tokens 설정은 단순 임계치 제한으로 작동하여 실패가 확정된 경로에서도 한계치까지 토큰을 소모하는 자원 낭비 구조 설계. Task 성능과 Resource 예측 능력 간 낮은 상관관계(r=0.35)로 인한 Frontier 모델들의 과도한 낙관적 편향 발생.

Technical Solution

• Feasibility Prediction 도입을 통한 작업 시작 전 실행 가능성 사전 판별 시도
• Rollout-replay 프로토콜 기반의 중간 단계별 예산 추정 및 실패 신호 감지 로직 설계
• 단일 예측값 대신 Lower/Upper Bound를 정의하는 Interval Calibration 방식 적용
• 단순 Hard Limit 대신 Per-step 비용 추세와 분산을 모니터링하는 Wrapper 레벨의 Soft Signal 체계 구축
• Task 완수 최적화가 아닌 실패 지점 예측을 위한 별도의 진단 루프 분리