인덱스 크기가 같아도 검색 품질이 다른 이유, 6가지 핵심 변수 분석

Context

단순 문서 수 기반의 규모 산정 방식이 실제 프로덕션 환경의 동작을 충분히 설명하지 못하는 한계. 검색 시스템의 성능과 정확도는 단순한 Retrieval 기능을 넘어 필터링, 정렬, 비즈니스 규칙 간의 복잡한 상호작용에 의해 결정되는 구조.

Technical Solution

• Query Shape, Document Shape, Retrieval Scope의 세 가지 입력 변수를 통해 검색 작업의 본질적 성격 정의
• Exact Search와 ANN(Approximate Nearest Neighbor) 선택에 따른 Latency, Recall, 메모리 사용량 및 업데이트 비용의 트레이드오프 관리
• Candidate Generation 단계의 품질을 최우선으로 하여 Reranker가 처리할 유효 데이터셋을 확보하는 전략
• Pre-search와 Post-search 필터링 시점의 분리를 통해 Recall과 Latency 및 결과 집계의 정렬 상태 최적화
• Hardware Pressure와 Update Pressure를 고려하여 인덱스 갱신 주기 및 동시성 제어 설계
• Product Contract에 따라 내부 검색, 마켓플레이스, 컴플라이언스 리뷰 등 서비스 목적별 요구사항 정의 및 튜닝

Key Takeaway

검색 시스템은 개별 컴포넌트의 합이 아니라 여러 메커니즘이 하나의 결과셋에 합의하는 통합 프로세스로 설계해야 함. 동일한 아키텍처라도 데이터의 형태와 운영 압력에 따라 완전히 다른 실패 지점이 발생함을 인지하는 설계 관점이 필요함.