Cosine Similarity 기반 Vector Search를 통한 비정형 데이터의 의미론적 검색 구현

Context

Structured Data 중심의 전통적인 SQL 쿼리 방식은 데이터 간의 암시적 유사성 파악에 한계 노출. 특히 Unstructured Data 처리 시 명시적인 관계 정의 없이는 유사한 의미의 데이터를 추출하기 어려운 구조적 제약 존재.

Technical Solution

• 텍스트 데이터를 Magnitude와 Direction을 가진 Vector로 변환하여 수학적 인코딩 수행
• 데이터의 의미적 유사성을 Vector 간의 각도 차이로 정의하는 Vector Space 설계
• Magnitude-invariant 특성을 활용하여 문서의 길이에 관계없이 주제적 일관성 유지
• Query를 Vector로 변환한 후 저장된 Vector들과의 각도를 측정하는 검색 로직 구현
• Cosine Similarity를 적용하여 각도가 가장 작은 데이터셋을 상위 랭킹으로 반환하는 구조 설계