Prompt Caching 구조 최적화로 비용 59% 절감 및 캐시 히트율 84% 달성

Context

LLM 추론 비용 절감을 위해 Quantization이나 모델 교체 등 인프라 중심 접근에 집중하는 경향이 있음. 그러나 System Prompt 내 Timestamp나 User ID 같은 동적 데이터 삽입으로 인한 Prefix Hash 불일치가 Cache-busting을 유발하여 높은 비용을 지불하는 구조적 한계가 존재함.

Technical Solution

• Prompt Caching의 Hash 기반 Prefix 매칭 원리를 활용한 Prompt 구조 재설계
• Static Content(지침, 페르소나, 출력 형식, 기본 Tool 정의)를 Prompt 최상단에 배치하여 안정적인 Prefix 확보
• Dynamic Content(런타임 변수, 세션 상태, RAG 검색 결과, 현재 날짜)를 User Message의 최하단으로 이동시켜 Cache Hit Rate 저하 방지
• Tool 정의 목록을 정적 도구와 동적 도구로 분리하고, 정적 도구를 우선 배치하는 정렬 로직 적용
• 동적 상태 변경이 잦은 Working Memory를 System Prompt에서 분리하여 개별 요청 간의 Hash 일관성 유지