TCP/IP 계층 구조를 응용한 Canonical Data Model 기반 유통 데이터 파이프라인 설계

Context

리테일러별로 상이한 데이터 포맷으로 인해 발생하는 N×M 통합 복잡도와 유지보수 비용 증가 문제 분석. 각 브랜드와 리테일러를 직접 연결하는 Direct-mapping 구조로 인한 강한 결합도와 스키마 변경 시의 연쇄적 수정 발생 한계 직면.

Technical Solution

• OSI 7 Layer의 Separation of Concerns 원칙을 적용한 3계층 데이터 파이프라인 구조 설계
• 리테일러 특성을 완전히 배제한 Retailer-agnostic 중심의 Universal Schema 도입
• 각 리테일러의 유효성 검사 및 포맷팅 로직을 엣지 영역의 Adapter Layer로 격리
• Canonical Data Model 패턴을 통해 브랜드 데이터와 리테일러 포맷 간의 매핑 관계를 1:1 구조로 단순화
• 스키마 오염을 방지하기 위해 리테일러 전용 필드의 중심 레이어 진입을 엄격히 차단하는 제약 조건 설정
• 새로운 리테일러 추가 시 중심 스키마 수정 없이 Adapter 설정 변경만으로 대응하는 확장성 확보