pgvector 최적화를 통한 쿼리 응답 시간 800ms에서 15ms로 단축

Context

pgvector의 기본 설정과 IVFFlat 인덱스를 활용한 초기 시맨틱 메모리 서비스 설계. 데이터 규모가 5,000건에서 10,000건으로 증가함에 따라 쿼리 지연 시간이 최대 1.5초까지 급증하며 AI 응답 생성 속도보다 느려지는 병목 현상 발생.

Technical Solution

• 선형적 시간 복잡도를 가진 IVFFlat 대신 그래프 기반의 HNSW 인덱스를 도입하여 데이터 증가와 무관한 일정한 쿼리 성능 확보
• OpenAI text-embedding-3-small 모델의 차원을 1536에서 512로 축소하여 연산량 감소 및 인덱스 크기 최적화
• 메모리 사용량 증가라는 Trade-off를 감수하되 low-latency 쿼리 성능을 우선시한 인덱스 전략 채택
• 검색 정확도 손실을 최소화하면서 거리 계산 비용을 낮추는 Dimension Reduction 적용
• conversation_id와 created_at을 결합한 Composite Index를 통해 필터링 성능 효율화

Impact

• 인덱스 변경(IVFFlat → HNSW)만으로 800ms에서 150ms로 5배 성능 개선
• 임베딩 차원 축소(1536 → 512)를 통해 150ms에서 70ms로 추가 2배 성능 개선
• 최종적으로 초기 대비 쿼리 응답 시간을 약 98% 단축한 15ms 달성

Key Takeaway

데이터 규모와 쿼리 지연 시간 요구사항에 따라 적절한 Vector Index 알고리즘을 선택하는 것이 필수적이며, 무조건적인 고차원 임베딩보다 도메인 특성에 맞는 차원 최적화가 시스템 전체 효율을 결정함.