Scheduling 지연 제거를 통해 Freshness Delay를 10분에서 30초로 단축

Context

S3 기반의 시간 파티션 데이터를 처리하는 Batch 파이프라인에서 Orchestration 오버헤드로 인한 데이터 최신성 저하 발생. Eventual Consistency 특성으로 인해 파일 기반의 Completion Signal을 신뢰하기 어려운 구조적 한계 존재.

Technical Solution

• Scheduling 지연 제거를 위한 Spark Structured Streaming 기반 Micro-batch 모델 도입
• Record-level Streaming의 운영 리스크를 배제하고 Partition-level 진행 상황에 집중한 설계
• S3의 불안정한 완료 신호 대신 외부 Logical Watermark를 활용한 시간 기반 진행 추적
• 과거 데이터의 전수 재처리보다 최신 파티션 우선 처리를 통한 Freshness 확보 전략 채택
• Restart를 실패가 아닌 정상적인 운영 메커니즘으로 정의하여 클린 리스타트 구조 설계
• Kafka 같은 Event Stream 대신 Object Storage의 Snapshot 기반 데이터 모델 유지

Impact

• Worst-case Freshness Delay를 기존 10분에서 30초 수준으로 대폭 개선

Key Takeaway

이론적인 Record-level Streaming보다 실제 운영 환경의 제약 사항에 맞춘 Micro-batch 모델이 더 높은 예측 가능성과 안정성을 제공함