피드로 돌아가기
Dev.toInfrastructure
원문 읽기
S3 Object Storage에 NFS v4.1 인터페이스를 결합한 무한 확장 공유 파일 시스템 구현
Amazon S3 Files: Tudo o que Você Precisa Saber Sobre o Novo Armazenamento de Arquivos
AI 요약
Context
Object Storage의 고가용성·저비용 특성과 POSIX 호환 파일 시스템의 저지연·인터랙티브 조작성 간의 이분법적 선택 강제 상황. 기존 FUSE 기반 마운트 방식의 원자성 결여 및 데이터 중복 전송으로 인한 비용과 지연 시간 증가 문제 발생.
Technical Solution
- Amazon EFS 인프라를 기반으로 S3 Bucket 위에 NFS v4.1 인터페이스를 직접 노출하는 브릿지 구조 설계
- Metadata Latency 해결을 위해 서브밀리초 단위 응답을 지원하는 전용 Metadata Layer 도입
- 파일 시스템 표준 연산을 S3 API 요청으로 지능적으로 변환하여 데이터 이동 없는 실시간 반영 구조 구현
amazon-efs-utils드라이버를 통한 EC2 및 EKS 리소스와의 단순 마운트 기반 연결 체계 구축- System of Record로서 S3를 유지하며 애플리케이션 코드 수정 없이 파일 기반 라이브러리 사용 가능 환경 제공
실천 포인트
1. ML 데이터셋 처리 시 S3-Local-S3 간 데이터 이동 경로 제거 가능 여부 검토
2. 레거시 POSIX 기반 애플리케이션의 클라우드 Lift-and-Shift 전략으로 NFS 인터페이스 채택 고려
3. 데이터 중복 저장 비용 절감을 위해 EFS 단독 사용 구조를 S3 Files 기반 구조로 전환 분석
4. 대규모 파일 리스팅 성능 최적화를 위해 Metadata Layer의 응답 속도 검증