Hybrid 추천 엔진 및 Distributed System 도입을 통한 정밀도 74% 달성

Context

Adobe Commerce의 정적 Rule 기반 추천 시스템은 데이터 증가에 따른 관리 복잡도 상승과 성능 저하 문제를 야기함. Single Server 구조의 한계로 인해 대규모 트래픽 발생 시 시스템 붕괴 및 개인화 서비스 부재라는 병목 지점이 발생함.

Technical Solution

• Behaviour-based와 Product-based 로직을 결합한 Hybrid Score(60:40 가중치) 설계
• 신규 유저 및 신규 상품의 Cold Start 문제 해결을 위해 Product Attribute 기반의 Similarity 매칭 우선 적용
• MySQL의 분석 부하 분산을 위해 데이터 스토어를 분리한 External Service 아키텍처 채택
• 데이터 처리량 증가에 대응하기 위해 Coordinator와 Worker로 구성된 Distributed System 구축
• 노드 장애 시 데이터 복제본을 통한 자동 복구 및 가용성 확보 구조 설계
• 정적 룰 기반의 일괄 제공 방식에서 유저별 Unique List를 생성하는 Dynamic Personalization으로 전환

Impact

• 추천 정밀도(Precision) 74% 달성 및 Accuracy Score 0.94 기록
• Distributed System 도입으로 단일 서버 대비 데이터 처리량 15.6배 증가
• 데이터 규모가 6만 개에서 94.5만 개로 16배 증가 시 학습 시간은 3.5배 증가로 억제
• 응답 속도 0.9s 수준 유지로 사용자 경험 훼손 없는 개인화 구현

Key Takeaway

데이터 규모 확장에 따른 성능 선형성을 확보하기 위해 Compute Resource의 분산 처리가 필수적이며, Cold Start 대응을 위한 다층적 Fallback 전략이 시스템의 완결성을 결정함.