Hybrid Retrieval과 Llama 3 평가 체계 도입을 통한 커뮤니티 검색 경험 최적화

Context

기존 Lexical 기반 검색 시스템의 키워드 일치 의존도로 인한 검색 누락 및 사용자 의도 파악 실패 발생. 단순 키워드 매칭의 한계로 인해 의미론적 연관성이 높은 콘텐츠 발견이 어려운 구조적 제약 존재.

Technical Solution

• Lexical Path와 Semantic Path를 병렬로 구성한 Hybrid Retrieval Architecture 설계
• Unicorn Inverted Index를 통한 고정밀 키워드 매칭과 200M 파라미터 모델 기반의 Dense Vector 검색 병행
• Faiss 벡터 인덱스 기반의 Approximate Nearest Neighbor(ANN) 탐색을 통한 개념적 유사도 추출
• TF-IDF, BM25 및 Cosine Similarity를 통합 처리하는 MTML(Multi-Task Multi-Label) 랭킹 모델 도입
• Click, Share, Comment 등 다중 참여 지표를 공동 최적화하여 단순 관련성을 넘어선 상호작용 가치 극대화
• Llama 3 기반의 Automated Evaluation Framework를 BVT 프로세스에 통합하여 휴먼 레이블링 병목 제거