S3의 POSIX 확장, S3 Files로 구현한 오브젝트-파일 하이브리드 저장소

Context

S3는 오브젝트 저장소 특성상 POSIX 표준 파일 시스템 인터페이스를 지원하지 않는 한계 존재. 기존 Mountpoint for S3는 Append-only 쓰기 제약으로 인해 범용 파일 시스템 활용에 제약 발생. 데이터 접근 방식의 파편화를 해결하고 통합 데이터 기질(Universal Data Substrate) 구축 필요.

Technical Solution

• S3 버킷 상단에 NFS 4.1/4.2 인터페이스를 추가하여 표준 POSIX 호환성 확보
• Amazon EFS 기술 스택을 기반으로 구축하여 기존 EFS의 마운트 대상 및 보안 그룹 설정 모델 계승
• 128KB 임계값을 기준으로 고성능 저장 계층의 인텔리전트 캐싱 전략 적용
• 쓰기 및 수정 시 S3 오브젝트로 실시간 동기화하여 데이터 일관성 및 영속성 유지
• S3 Tables 및 Vectors와 병행하여 구조화 데이터와 비구조화 데이터를 통합 관리하는 아키텍처 설계
• IAM Trust Principal을 EFS 서비스 주체로 설정하여 S3 리소스에 대한 세밀한 접근 제어 구현

Impact

• 동일 파일 재읽기 시 최대 3.1 GB/s 처리 속도 달성
• Cold Read 대비 Warm Read 성능 100배 이상 향상
• 소형 파일 읽기 지연 시간 2~6ms 수준 유지
• 100개의 소형 파일 쓰기 작업 1초 미만으로 완료

Key Takeaway

저장소의 물리적 형태(오브젝트 vs 파일)보다 인터페이스 계층의 추상화를 통해 데이터 접근 유연성을 확보하는 설계 방향성 제시.