Agentic Workflow 비용 최대 57% 절감한 로컬 프록시 Lumin

Context

Agentic Loop 구조에서 동일한 컨텍스트와 거대 시스템 프롬프트가 매 턴 반복 전송되는 구조. 새로운 추론이 아닌 중복 데이터 전송으로 인한 불필요한 비용 발생. LLM 제공자에게 요청이 도달하기 전 비용을 최적화하는 중간 계층의 부재.

Technical Solution

• Agent와 모델 제공자 사이에 위치하여 요청을 가로채고 최적화하는 로컬 프록시 아키텍처 설계
• 반복되는 거대 프롬프트에서 저가치 섹션을 제거하는 정적 컨텍스트 압축 전략 적용
• 유사 컨텍스트의 반복 전송 시 누적 절감 효과를 극대화하는 반복 컨텍스트 처리 로직 구현
• JSON 배열의 필드명을 한 번만 선언하여 토큰 효율을 높이는 TOON 기반 구조화 데이터 압축 레이어 도입
• 작업의 맥락이 변경될 때 캐시 재사용을 차단하여 데이터 무결성을 유지하는 Freshness Guard 및 Pivot Detection 메커니즘 구축
• OpenAI 호환 엔드포인트를 노출하여 환경 변수 설정만으로 통합 가능한 플러그인 방식 제공

Impact

• 반복 컨텍스트 루프(Repeated-context loops) 비용 최대 57% 절감
• 구조화 데이터 내보내기 워크플로우(Structured export workflows) 비용 최대 57.5% 절감
• 벤치마크 세트 기준 평균 11% 비용 절감

Key Takeaway

LLM 기반 에이전트 설계 시 입력 토큰의 중복성을 분석하여 전송 전 단계에서 데이터 압축 및 캐싱 계층을 도입하는 전략적 접근의 중요성.