클라이언트별 CSV 파서 작성 없이 데이터 통합을 달성하는 FileFeed 전략

Context

B2B SaaS 환경의 기업 고객별 상이한 데이터 포맷 제공. 고객 수 증가에 따른 개별 파싱 스크립트 생성 및 유지보수 비용 급증. 파편화된 데이터 구조로 인한 시스템 취약성 증가.

Technical Solution

• SFTP, Email, API, Cloud Storage를 통합 지원하는 멀티 채널 Ingest 계층 설계
• 단일 표준 Schema 정의 후 고객별 필드 매핑을 통해 데이터를 정규화하는 구조
• 데이터 유입 단계에서 Schema Validation을 수행하여 비정상 데이터의 시스템 진입 차단
• toLowerCase, trim 등 내장 Transformation 함수를 통한 데이터 전처리 자동화
• HMAC 서명 기반의 Webhook 알림 체계를 통한 처리 상태 실시간 전송
• 고객별 독립된 SFTP 자격 증명 및 저장소 격리를 통한 보안성 강화

Key Takeaway

비즈니스 로직과 데이터 수집 레이어를 분리하여 외부 포맷 변경이 내부 시스템에 영향을 주지 않는 추상화 계층 설계의 중요성.