Local Headroom Proxy 도입을 통한 LLM 토큰 60% 절감 및 OAuth 투명성 확보

Context

Hermes Agent 사용 중 발생하는 과도한 토큰 소비로 인한 비용 증가 문제 발생. 단순 프롬프트 축소는 추론 능력 저하를 야기하며, 외부 압축 서비스는 데이터 프라이버시 및 추가 비용 문제가 수반되는 제약 상황.

Technical Solution

• Local Reverse Proxy 구조의 Headroom을 도입하여 Hermes Agent와 Upstream API 사이의 트래픽을 투명하게 중계하는 아키텍처 설계
• Kompress 엔진을 내장하여 500 토큰 이상의 긴 컨텍스트를 자동으로 압축해 전송하는 Stateless Streaming Compression 로직 적용
• Hermes의 OAuth provider base_url 파싱 로직을 우회하기 위해 runtime plugin을 통한 monkey-patching 방식의 트래픽 리다이렉션 구현
• GPU 가속 기반의 PyTorch 백엔드 활용으로 CPU 대비 10배 이상의 처리 속도 확보 및 레이턴시 150ms 수준 유지
• require_health: true 설정을 통한 Proxy 상태 검증으로 실패 시 API 직접 연결로의 Silent Fallback 방지