Cache Hit 94% 달성 및 Advisor-Critic 패턴을 통한 LLM 비용 최적화

Context

대규모 메시지 트래픽 처리 시 Prompt Assembly 버그로 인한 Cache Hit Rate 저하와 고성능 모델(Opus) 사용에 따른 과도한 비용 지출이 주요 병목 지점으로 작용. 지능적 수준은 확보했으나 샌드박스 실행 환경 및 권한 관리 등 인프라 레이어의 제약으로 인해 Agent의 실제 프로덕션 적용에 한계 발생.

Technical Solution

• Advisor-Critic 전략: Haiku(Executor)가 기본 처리 후 난이도 높은 케이스만 Opus(Advisor)에 요청하여 지능 수준 유지 및 Token 비용 절감
• Rubber Duck 검증 루프: Planning, Implementation, Test 작성 단계 직후 Critic 모델을 배치하여 실행 전 무결성 검증
• Prompt Caching 최적화: Cache Hit Rate 94% 이상 유지를 목표로 Prompt Assembly 구조를 설계하여 불필요한 Cache Invalidation 방지
• Managed Agents 인프라: Sandboxed Code Execution, Checkpointing, Credential Scoping 프라이머티브를 통해 보안 및 안정성 확보
• Tool-less Intent Specification: 개별 도구 생성 대신 에이전트가 의도와 문제 도메인의 정밀 명세(Precise Specification)를 생성하는 방식으로 도구 설계 패러다임 전환
• Robobun 자동화 파이프라인: 이슈 재현-회귀 테스트 실패 확인-수정 브랜치 통과-PR 생성으로 이어지는 완전 자동화된 유지보수 루프 구현