S3 Object와 File System 사이의 데이터 마찰 해결, S3 Files 설계 전략

Context

대규모 게놈 분석 등 burst parallel 워크로드에서 S3의 확장성과 로컬 파일 시스템의 호환성 간 격차 발생. 분석 도구들이 Linux 파일 시스템 인터페이스를 요구함에 따라 S3와 로컬 저장소 간 반복적인 데이터 복사 작업 수행. 이로 인한 데이터 불일치 및 인프라 관리 오버헤드 증가.

Technical Solution

• S3의 객체 저장소 특성과 로컬 파일 시스템의 계층 구조 사이의 경계를 인정하는 설계 전략 채택
• 데이터 전송 시점을 제어하고 워크플로우 통합을 강화하는 Stage and Commit 메커니즘 도입
• 파일과 객체라는 서로 다른 데이터 접근 패턴을 단일 시스템 내에서 공존시키는 다중 인터페이스 구조 설계
• S3 Tables, Vectors와 연계하여 단순 저장소를 넘어 데이터 유형별 최적화된 접근 방식을 제공하는 통합 스토리지 체계 구축
• 사용자가 데이터 이동 경로를 직접 관리하던 방식에서 스토리지 시스템이 인터페이스를 제공하는 방식으로 전환

Key Takeaway

서로 다른 데이터 접근 패턴을 하나로 통합하려는 시도보다 각 패턴의 특성을 보존하며 경계를 명확히 정의하는 것이 시스템 유연성과 확장성 확보에 유리함.