피드로 돌아가기
Dev.toAI/ML
원문 읽기
Context Window 확장을 통한 Vector DB 제거와 추론 Latency 최적화 전략
CAG: The Simpler Way to Ground Your LLM
AI 요약
Context
외부 지식 활용을 위해 RAG 아키텍처를 표준으로 사용했으나, 매 쿼리마다 발생하는 Retrieval 과정이 시스템 복잡도를 높이고 Latency를 유발하는 병목 지점으로 작용.
Technical Solution
- 모델의 Context Window 확장 추세에 따라 지식 베이스 전체를 프롬프트에 상주시키는 CAG 구조 설계
- Retrieval-Rank-Retrieve로 이어지는 파이프라인을 Load-Cache-Generate 단계로 단순화하여 아키텍처 경량화
- 정적 데이터와 대규모 Context를 지원하는 모델 특성을 활용해 Vector Search 단계의 오버헤드 제거
- 데이터 성격에 따라 고정 지식은 CAG로 처리하고 가변 지식은 RAG로 처리하는 Hybrid 접근법 적용
- 인프라 구성 요소 축소를 통한 시스템 유지보수 비용 및 관리 포인트 감소
실천 포인트
1. 전체 Knowledge Base의 토큰 수가 모델의 Context Window 범위 내에 포함되는지 정량적 검토
2. 데이터의 업데이트 주기 분석을 통해 Static 데이터 여부 확인 및 CAG 적용 가능성 판단
3. 저지연 응답이 필수적인 서비스에서 Vector DB 탐색 시간 제거를 통한 Latency 개선 검토
4. RAG의 복잡한 파이프라인 구축 전, 단순 텍스트 로딩 방식의 성능 벤치마크 수행