Uber Launches IngestionNext: Streaming-First Data Lake Cuts Latency and Compute by 25%

Context

기존 데이터 레이크 수집 파이프라인은 Apache Spark의 스케줄된 배치 작업에 의존하고 있어 데이터 가용성이 수 시간 단위로 지연되었다. 이로 인해 분석 대시보드, 실험 플랫폼, 머신러닝 모델이 최신 데이터를 적시에 활용할 수 없었다.

Technical Solution

• 이벤트 스트림 수집 방식 변경: 스케줄된 배치 작업 대신 Apache Kafka를 통해 이벤트를 지속적으로 수집
• 스트리밍 처리 엔진 도입: Apache Flink 작업으로 이벤트를 실시간 처리
• 데이터 레이크 쓰기 최적화: Hudi 테이블에 트랜잭션 커밋, 롤백, 타임 트래블 기능으로 원자성 있는 쓰기 구현
• 파일 쓰기 최적화: Parquet 파일의 행 그룹 수준 병합 전략 및 압축 메커니즘으로 스트리밍 중 파일 레이아웃 효율성 유지
• 분산 스트리밍 파이프라인 안정성: 오프셋 추적, 파티션 편향 처리, 체크포인팅으로 장애 복구 시 데이터 정확성 보장
• 제어 평면 자동화: 작업 생명주기, 설정, 헬스 모니터링 자동화 및 리전별 페일오버 전략으로 데이터 손실 방지

Impact

• 데이터 수집 지연 감소: 수 시간에서 수 분으로 단축
• 컴퓨팅 자원 효율성 개선: 25% 컴퓨팅 사용량 감소
• 지원 규모 확대: 수천 개 데이터셋과 대규모 글로벌 데이터 볼륨 처리

Key Takeaway

데이터 신선도를 데이터 품질의 핵심 요소로 설계하면 스트리밍 기반 아키텍처로 배치 처리의 고질적 지연 문제를 해결할 수 있다. 다만 다운스트림 변환 및 분석 파이프라인도 스트리밍 기능 확장이 필요하므로 엔드-투-엔드 지연 개선을 위한 단계적 도입이 중요하다.