피드로 돌아가기
Dev.toAI/ML
원문 읽기
LLM과 Vector Index를 결합한 하이브리드 Semantic Search 시스템 구축
AI Search, Image Search, and Category Filters Land in PSRESTful Product Search
AI 요약
Context
기존 Keyword Match 기반 검색의 한계로 인해 사용자가 복잡한 필터 조건을 일일이 설정해야 하는 불편함 존재. 공급자별로 상이한 카테고리 명칭으로 인한 검색 결과 파편화 해결이 필요했던 상황.
Technical Solution
- LLM을 활용한 Natural Language Query의 Structured Filter 추출로 검색 정확도 향상
- 추출된 필터 값과 Semantic Intent를 분리하여 Vector Index 기반의 Embedding 검색 수행
- LLM의 불확실한 필터 추론 시 Embedding 검색에 의존하게 하여 Hallucination 방지
- 이미지 파일을 Vector Space 내의 Embedding으로 변환하여 시각적 유사도 기반의 검색 구현
- Normalized Subcategory 체계를 도입하여 서로 다른 공급자의 상품군을 단일 표준 카테고리로 통합
- 모든 검색 경로에 사용자 계정 기반의 Supplier Scope 제한을 적용한 데이터 격리 및 보안 유지
실천 포인트
1. 자연어 쿼리를 [정형 필터 + 비정형 벡터]로 분리하여 검색 정밀도와 재현율을 동시에 확보했는가
2. LLM의 추론 결과가 불확실할 때 Fallback으로 벡터 검색을 활용하는 예외 처리 로직이 있는가
3. 서로 다른 소스의 데이터를 통합하기 위한 Normalized Schema(표준 스키마)를 정의했는가
4. 벡터 검색 결과에 비즈니스 제약 조건(권한, 필터)을 레이어로 얹어 최종 결과를 정제했는가