Embedding 모델보다 Ingestion Pipeline 설계가 결정하는 Semantic Search 품질

Context

Spring Boot와 pgvector 기반의 Semantic Search API 구축 과정에서 벡터 연산 자체보다 시스템 설계의 부재로 인한 검색 결과의 불확실성 발생. 단순 유사도(Similarity) 기반 검색이 실제 유용성(Usefulness)으로 이어지지 않는 아키텍처적 한계 직면.

Technical Solution

• Embedding 전 단계에서 데이터 형식을 강제하는 System-level Contract 도입을 통한 벡터 공간의 결정론적 확보
• 단순 결합 방식의 Embedding 입력을 지양하고 노이즈 데이터(예: 'Notes', 'Draft' 등의 제목)를 정규화하여 벡터 왜곡 방지
• 데이터 모델링 관점에서 Ingestion 단계의 검증 및 정규화 프로세스를 강화하여 검색 품질의 상한선 결정
• JPA의 추상화 한계를 인정하고 벡터 연산 및 JSONB 접근 등 DB 특화 쿼리에 대해 JDBC 기반 SQL로 경계를 명확히 분리한 설계 채택