파편화된 터키 이커머스 데이터를 API 기반 Intelligence 스택으로 통합

Context

터키 마켓플레이스별로 상이한 데이터 스키마와 파편화된 구조로 인해 데이터 통합에 어려움 발생. 단순 페이지 수집을 넘어 가격 분석과 판매자 평가에 즉시 활용 가능한 정규화된 데이터 구조 부재.

Technical Solution

• Apify Actors를 활용하여 개별 스크래퍼를 API 형태로 패키징한 서버리스 아키텍처 설계
• N11 Product Scraper를 통한 제품명, 가격, 재고 상태 등 핵심 속성의 정형 데이터 추출 구조
• 서로 다른 플랫폼의 판매자 프로필을 단일 스키마로 통일하는 Turkish Marketplace Seller Intelligence 구현
• Trendyol, Hepsiburada, N11의 리뷰 데이터를 통합하고 터키어 감성 태깅(Sentiment Tagging)을 추가한 Review Aggregator 구축
• 제품 URL과 판매자 URL을 기반으로 세 개의 Actor 출력을 결합하여 카테고리 지배력과 신뢰도를 분석하는 데이터 파이프라인 구성
• 입력값 검증, 정규화된 출력 스키마, 진행 상황 로깅을 포함하여 프로덕션 API 수준의 안정성 확보

Impact

• N11 Product Scraper: 1,000개 레코드당 $5 비용 구조
• Seller Intelligence: 1,000개 프로필당 $8 비용 구조
• Review Aggregator: 1,000개 리뷰당 $3 비용 구조

Key Takeaway

단순한 데이터 수집 도구를 넘어, 정규화된 스키마와 API 인터페이스를 제공함으로써 데이터 추출부터 분석 파이프라인까지의 엔지니어링 공수를 최소화하는 추상화 전략.