LLM 의존성을 탈피한 Agent Harness 설계를 통한 시스템 신뢰성 확보

Context

단순 LLM API 호출 중심의 Stateless 구조로 인한 Production 환경의 낮은 신뢰성 발생. 모델 성능에만 의존하는 방식은 Tool Call의 런타임 에러와 무한 루프, 컨텍스트 초과 문제를 해결하지 못하는 한계 존재.

Technical Solution

• Model Interface와 Tool Registry, Control Loop를 분리한 Orchestration Layer 구축
• Tool Registry 내 Schema Validation 도입을 통한 Dispatch 전 입력값 무결성 검증
• Prompt 기반의 제어가 아닌 BudgetEnforcer 클래스를 통한 하드코딩된 Iteration 및 Token 제한 강제
• 최근 메시지 유지와 과거 메시지 요약을 결합한 Hot-cache 패턴의 Context Compression 적용
• 에러 성격에 따라 Transient, Permanent, Unavailable로 분류하여 Retry 및 Graceful Degradation 전략 차별화
• Tool 호출 인자, 결과, 소요 시간을 기록하는 End-to-end Tracing 체계 구축