벡터 데이터베이스에서 Cosine 대신 Euclidean, Dot Product, Hamming, Jaccard 메트릭을 선택적으로 적용해 의미론적 검색, 이상 탐지, 추천 엔진 등 다양한 사용 사례 구현

Context

대부분의 개발자는 튜토리얼과 프레임워크 기본값의 영향으로 벡터 데이터베이스에서 Cosine 메트릭만 사용하고 있다. Cosine은 두 벡터의 방향만 비교하므로 크기 정보를 무시한다. 이로 인해 이상 탐지나 강도 기반 추천 같은 절댓값이 중요한 사용 사례를 처리하지 못한다.

Technical Solution

• Cosine 메트릭 활용: 의미론적 유사성 검색에 사용하며, 토픽 방향이 같으면 문서 길이와 무관하게 높은 점수 반환 (예: 280자 트윗과 10페이지 논문이 동일 주제면 유사도 높음)
• Euclidean 메트릭 도입: 이상 탐지와 IoT 모니터링에 적용해 절댓값 기반 거리 측정 (예: 센서 데이터의 정상 범위 0-2 units 대비 이상 신호는 70 units 거리로 명확히 구분)
• Dot Product 메트릭 적용: 추천 시스템에서 방향과 신호 강도를 함께 고려해 더 정확한 매칭 수행
• Hamming 메트릭 사용: 이진 데이터(온/오프)를 비교할 때 서로 다른 비트 개수로 유사도 계산
• Jaccard 메트릭 적용: 카테고리 멤버십 비교에서 겹치는 요소의 비율로 유사도 계산 (예: 사용자 장르 선호도, 제품 태깅, 채용 스킬 매칭)

Key Takeaway

벡터 데이터베이스의 거리 메트릭은 문제의 성질에 따라 선택해야 하는 도구이다. 의미론적 검색에는 Cosine을, 절댓값이 중요한 이상 탐지에는 Euclidean을 사용하는 식으로 올바른 메트릭을 선택하면 같은 벡터 데이터베이스로 훨씬 더 다양한 사용 사례를 구현할 수 있다.