피드로 돌아가기
Dev.toAI/ML
원문 읽기
Blue/Green 배포 전략을 통한 Vectorize 인덱스 재구축 비용 $43에서 $5.50로 절감
I wasted $43 rebuilding a Vectorize index the wrong way — here's the $5.50 fix
AI 요약
Context
In-place 방식의 Vectorize index 재구축 과정에서 데이터 일시 손실 및 유사도 점수 하락 발생. RAG 시스템이 낮은 신뢰도 점수를 '결과 없음'으로 판단하여 고비용 LLM Fallback으로 연결되는 병목 지점 확인.
Technical Solution
- 기존 인덱스 유지 상태에서 신규 인덱스(ads-insights-v2)를 병렬 구축하는 Blue/Green Swap 전략 채택
- 데이터 정밀도 향상을 위해 Chunk size를 512 tokens에서 256 tokens로 축소하여 Top-1 Similarity 점수 개선
- Golden set 기반의 20개 쿼리 검증 단계를 거쳐 데이터 정합성 확인 후 환경 변수 변경을 통한 트래픽 전환
- Upsert 요청 시 Timeout 방지를 위해 Batch size를 문서 권장치(1,000)의 절반인 500 vectors로 최적화
- Retry logic 구현을 통한 180K vectors 전체 재구축 과정의 Zero-failure 달성
실천 포인트
- Vectorize Upsert 시 Timeout 방지를 위해 Batch size를 500 이하로 설정하고 Retry 로직 적용 - 인덱스 변경 전 Golden set 쿼리를 통한 유사도 점수 및 결과 정합성 사전 검증 - RAG 시스템의 Confidence Score 로그를 모니터링하여 LLM Fallback 발생 빈도 추적