S3를 네이티브 파일 시스템처럼, S3 Files로 푸는 스토리지 딜레마

Context

S3의 객체 스토리지 특성과 애플리케이션의 파일 시스템 요구사항 간의 간극 존재. 데이터 접근을 위해 S3 API를 직접 구현하거나 데이터를 별도 스토리지로 복제하는 오버헤드 발생. 확장성과 비용 효율성 사이에서 아키텍처 선택의 트레이드오프 강요.

Technical Solution

• S3 버킷 상단에 파일 시스템 뷰를 생성하는 S3 Files 인터페이스 계층 도입
• NFS v4.1+ 표준 프로토콜 지원을 통한 Create, Read, Update, Delete 작업의 네이티브 구현
• VPC 내 Mount Target을 통해 EC2 등 AWS 컴퓨팅 리소스와 S3 데이터의 직접 연결 구조
• 파일 시스템 작업(POSIX)을 효율적인 S3 API 요청으로 변환하는 번역 레이어 설계
• IAM, TLS 1.3, SSE-S3 및 AWS KMS 기반의 기업급 보안 및 암호화 체계 통합
• CloudWatch 및 CloudTrail 연동을 통한 스토리지 가시성 및 감사 로그 확보

Key Takeaway

데이터 저장소(Storage Layer)와 데이터 접근 방식(Access Layer)을 분리함으로써 인프라의 물리적 특성에 구애받지 않는 애플리케이션 설계 가능. 데이터 복제나 스테이징 단계 없이 원천 데이터에 직접 접근하는 Zero-copy 지향 아키텍처의 중요성 확인.