S3 버킷을 파일 시스템으로, 데이터 이동 없는 실시간 공유 저장소 구현

Context

Object Storage의 특성상 파일 일부 수정 시 전체 객체를 교체해야 하는 구조적 한계 존재. 데이터 분석 및 ML 학습 시 S3의 저렴한 비용과 File System의 인터랙티브한 조작 기능 사이에서 선택 강요. 데이터 복제를 통한 동기화 과정에서 발생하는 아키텍처 복잡도와 스토리지 낭비 문제 발생.

Technical Solution

• Amazon S3를 NFS v4.1+ 표준 프로토콜로 연결하여 파일 및 디렉토리 형태로 접근하는 S3 Files 아키텍처 도입
• Amazon EFS 기반의 고성능 스토리지 계층을 활용해 활성 데이터에 대한 저지연 접근 경로 제공
• 데이터 특성에 따라 저지연 접근 파일은 고성능 스토리지에, 대규모 순차 읽기 파일은 S3에서 직접 서빙하는 자동 최적화 경로 설계
• Byte-range read 방식을 적용해 요청한 바이트만 전송함으로써 네트워크 트래픽과 비용 최소화
• Intelligent pre-fetching 기법으로 데이터 액세스 패턴을 예측하고 사전 로드하여 응답 속도 향상
• NFS close-to-open 일관성 모델을 적용해 여러 컴퓨팅 리소스 간의 동시 접근 및 데이터 상호작용 지원

Impact

• 활성 데이터에 대해 약 1ms의 낮은 지연 시간(Latency) 제공

Key Takeaway

스토리지의 물리적 특성(Object vs File)에 구애받지 않고 인터페이스 계층을 분리함으로써, 비용 효율성과 운영 편의성을 동시에 확보하는 추상화 설계의 중요성.