피드로 돌아가기
Dev.toAI/ML
원문 읽기
Prefix Caching 도입 통한 Prefill 비용 최대 80% 절감 및 TTFT 최적화
Prefix caching at scale: when it saves you 80% of prefill cost, and the eviction policies that quietly turn it into 5%
AI 요약
Context
RAG 및 Multi-turn chat 환경에서 시스템 프롬프트와 컨텍스트의 중복 계산으로 인한 Prefill 병목 발생. 70B Llama-3 모델 기준 8k 입력 시 Prefill이 TTFT의 70~85%를 점유하며, 특히 6k 토큰 이상의 RAG 컨텍스트 추가 시 TTFT가 180ms에서 1.4s로 급증하는 한계 노출.
Technical Solution
- 요청의 선행 토큰(Leading tokens) 일치 여부를 판단하여 기존 KV Cache를 재사용하는 Prefix Caching 구조 설계
- vLLM의 APC(Automatic Prefix Caching) 방식인 Content-addressed block store 기반의 해시 맵 구조 채택
- Parent hash, 현재 블록 토큰, LoRA ID 및 Salt를 조합한 복합 해시 키 생성으로 캐시 충돌 방지 및 정밀도 확보
- 16토큰 단위의 Block-grained 매칭을 통해 해시 테이블 오버헤드와 재사용 효율성 간의 Trade-off 최적화
- SGLang의 Radix tree 기반 Token-level 매칭을 통한 vLLM 대비 세밀한 접두사 일치 및 재사용률 향상
- SHA-256 및 CBOR 직렬화를 통한 멀티 프로세스 환경의 캐시 재현성 및 보안성 강화
실천 포인트
- RAG/Agent 워크로드 여부 확인 후 Prefix Caching 적용 검토 - vLLM 사용 시 --prefix-caching-hash-algo 옵션으로 환경에 맞는 해시 알고리즘(sha256_cbor 등) 선택 - Block size(기본 16) 조정으로 매칭 정밀도와 오버헤드 간 균형 최적화 - 메모리 부족으로 인한 Cache Eviction 발생 시 Hit rate 급락 여부 상시 모니터링