임베딩 안정화로 검색 리랭킹의 콜드 스타트 문제를 해결하다: LINE Part Time Jobs 적용 사례

Context

사용자 행동 기반 2-Tower Embedding을 활용한 코사인 유사도 정렬 방식을 사용했으나, 쿼리 의도 반영 부족과 빈번한 모델 재학습에 따른 Embedding 공간의 비정상성 문제 직면. 특히 월 단위의 빈번한 공고 교체로 인한 Cold Start 발생 및 학습-추론 시점의 데이터 불일치로 인한 성능 저하 발생.

Technical Solution

• 저차원 SVD 및 Orthogonal Procrustes 기반의 후처리 안정화(Stabilization) 프로세스 도입
• 전일의 안정화된 Embedding을 기준점으로 당일의 공간을 정렬(Alignment)하여 시계열적 연속성 확보
• Cholesky Decomposition을 활용해 QR 분해의 R 행렬을 효율적으로 산출하여 계산 복잡도 최적화
• Apache Spark 기반 분산 병렬 처리를 통해 대규모 Embedding 행렬 곱 연산의 확장성 확보
• 2-Tower 모델의 구조 변경 없이 출력값에만 후처리를 적용하여 기존 파이프라인 영향 최소화

Impact

• 안정화 후 1개월 경과 시점에도 벡터 유사도 0.87 수준의 높은 연속성 유지
• 오프라인 평가 결과 전환 nDCG 9.0%, 클릭 nDCG 4.5% 향상
• A/B 테스트 결과 서비스 전체 KPI 4.7% 및 매출 6.5% 증가 달성