피드로 돌아가기
Dev.toAI/ML
원문 읽기
Gemini Embeddings 2와 pgvector 기반의 다차원 시맨틱 피드 시스템 구축
How we're using Gemini Embeddings to build a smarter, community-driven feed on DEV
AI 요약
Context
클릭 기반 알고리즘의 Echo Chamber 현상과 최신순 정렬의 정보 휘발성 사이의 트레이드오프 발생. 태그 기반 필터링의 한계로 인해 세부적인 기술 맥락을 반영한 정밀한 콘텐츠 추천 구조가 필요했던 상황.
Technical Solution
- Ai::Base 및 Ai::Embedding 래퍼 클래스 설계를 통한 API 호출 추상화 및 AiAudit 모델 기반의 모델 버전, 레이턴시, 토큰 비용 자동 추적 구조 확보
- Gemini Embeddings 2의 3,072차원 벡터를 pgvector로 PostgreSQL 내에 저장하여 SQL 레벨에서 Cosine Similarity를 계산하는 하이브리드 랭킹 시스템 구현
- 사용자의 상호작용 데이터를 기반으로 dynamic interest_embedding을 생성하여 개인화된 Semantic Feedback Loop 구축
- Leader Clustering 알고리즘을 통한 6시간 주기 배경 작업으로 코사인 거리 0.15 이하의 유사 콘텐츠를 그룹화하는 TrendDetector 서비스 도입
- 텍스트 외 이미지, 오디오, 비디오를 수용하는 Multi-modal Vector Space 설계를 통한 인프라 확장성 확보
실천 포인트
- LLM API 도입 시 래퍼 클래스를 통해 호출 경로와 비용, 성능 지표를 로깅하는 감사 체계(Audit Trail) 구축 검토 - 단순 벡터 검색을 넘어 기존 Social Signal(팔로우, 추천 수)과 Semantic Score를 가중치 기반으로 혼합하는 하이브리드 랭킹 로직 적용 - 클러스터링 기반의 트렌드 감지 시 최소 점수 임계값(Minimum Score)을 설정하여 데이터 노이즈 제거 및 품질 관리