Prompt Caching 도입으로 응답 속도 50% 개선 및 RAG 복잡성 제거

Context

소규모 지식 베이스(4,000 tokens) 기반의 고객 지원 봇 구축 중 Vector DB와 Embedding 모델을 활용한 표준 RAG 구조를 채택함. 하지만 단순 텍스트 규모 대비 과도한 인프라 복잡성과 API 홉으로 인한 Latency 발생이 병목 지점으로 작용함.

Technical Solution

• Anthropic의 Prompt Caching 기능을 활용하여 전체 Knowledge Base를 System Prompt에 포함시키는 All-in-context 구조로 전환
• 1,024 tokens 이상의 최소 캐싱 블록 조건을 충족하여 반복 요청 시 Input Token 비용 90% 절감 및 읽기 성능 최적화
• Vector DB(Supabase)와 Embedding API(OpenAI) 호출 단계를 제거하여 네트워크 Round-trip 최소화
• 환경 변수를 통한 RAG/Inline 모드 스위칭 구조를 설계하여 트래픽 형태에 따른 성능 비교 검증 체계 구축
• 지식 베이스 전체를 컨텍스트에 포함함으로써 RAG의 고질적 문제인 Retrieval 실패 및 Chunking 튜닝 이슈를 원천적으로 제거