피드로 돌아가기
Dev.toBackend
원문 읽기
3단계 신뢰도 티어링 기반의 Cross-marketplace 제품 매칭 설계
Cross-matching products when Rakuten's API hides the JAN
AI 요약
Context
Yahoo! Shopping과 Rakuten API 간의 JAN(바코드 번호) 제공 방식 불일치로 인한 제품 식별 불가 상황 발생. Rakuten API는 JAN 전용 파라미터를 제공하지 않고 텍스트 내에 포함된 형태로 응답하여 단순 매칭 시 데이터 오염 위험이 높음.
Technical Solution
- 정밀도 확보를 위해 매칭 신뢰도를 3단계(High, Mid, Low)의 Certainty Tiers로 분리한 구조 설계
- Rakuten 검색 결과에 대해 JAN 포함 여부(0.5), 가격 범위 적정성(0.3), 모델 번호/사이즈 패턴 일치 여부(0.2)를 합산하는 Scoring 알고리즘 도입
- 신뢰도 0.8 이상의 High 등급만 자동 확정(Confirmed) 처리하여 오매칭으로 인한 데이터 병합 방지
- 0.5~0.8 사이의 Mid 등급은 사용자 검토 단계(Candidate pool)로 분리하여 수동 확정 프로세스 구축
- Yahoo! 매칭 데이터의 모델 번호 토큰과 Rakuten 제품명의 일치 여부 및 가격 ±40% 오차 범위를 검증하는 Fallback 로직 적용
실천 포인트
- 서로 다른 외부 API의 데이터 스키마 불일치 시, 단일 매칭 기준 대신 가중치 기반의 Scoring 시스템 검토 - 자동화 신뢰도가 낮은 데이터는 'Candidate' 상태로 분리하여 사용자 피드백 루프(Human-in-the-loop) 설계 - 텍스트 기반 매칭 시 단순 키워드 일치 외에 가격대, 모델 번호 등 보조 지표를 결합한 다중 검증 체계 구축