Prompt Caching 도입으로 입력 비용 90% 절감 및 TTFT 10배 가속화

Context

Transformer 아키텍처의 Prefill 단계에서 발생하는 $O(N^2)$ 연산 비용과 GPU 메모리 대역폭 병목으로 인한 높은 지연 시간 발생. 매 요청마다 중복되는 시스템 프롬프트나 컨텍스트를 재계산하는 비효율적 구조의 한계 존재.

Technical Solution

• Causal-masked Attention의 결정론적 특성을 이용해 동일 Prefix의 K/V Vector를 재사용하는 구조 설계
• Prefill 단계의 Compute-bound 연산을 생략하고 Memory-bandwidth-bound인 Decode 단계로 즉시 진입하는 경로 최적화
• GPU 메모리 압박 해결을 위해 5분 단위의 짧은 TTL 설정 또는 Disk-backed Cache(DeepSeek MLA)를 통한 저장 계층 분리
• RAG 환경의 캐시 효율 저하를 막기 위해 Reference를 프롬프트 하단으로 배치하거나 Deterministic Chunk Ordering 적용
• Agent 워크로드의 Prefix 안정성 확보를 위해 Tool Call 결과를 Append-only 방식으로 관리하는 데이터 파이프라인 구축