고차원 Vector Space 기반 Semantic Search 및 Attention 메커니즘 구현

Context

단순 텍스트 매칭 방식의 검색 시스템은 단어 간 의미적 연관성을 파악하지 못하는 한계 존재. 이를 해결하기 위해 단어를 고차원 좌표로 매핑하여 의미적 거리를 계산하는 Word Embedding 기술 도입 필요.

Technical Solution

• Word Embedding을 통한 단어의 고차원 Vector 표현으로 Semantic Space 구축
• Cosine Similarity를 활용해 Vector 길이를 배제하고 방향성 기반의 의미적 유사도 측정
• Vector Arithmetic(덧셈/뺄셈)을 적용하여 젠더나 권위 등 특정 속성을 분리 및 결합하는 논리 구조 설계
• Scalar Multiplication으로 의미적 방향은 유지한 채 강도(Intensity)만 조절하는 스케일링 기법 적용
• Dot Product를 활용해 관련성과 중요도를 동시에 평가하는 Attention Mechanism 및 추천 시스템 최적화

Impact

• Cosine Similarity 적용 시 Hot-Warm 관계의 유사도를 +0.998 수준으로 정밀하게 측정
• Vector Arithmetic을 통한 King-Man+Woman 연산 결과, Queen과의 거리 d=0.400 및 유사도 0.974 달성
• Dot Product 활용 시 단순 유사도와 달리 0.29 대비 2.61로 약 9배의 가중치 차이를 구현하여 중요도 변별력 확보