S3를 파일 시스템처럼 사용하다가 비용과 성능 폭탄을 맞는 이유

Context

전통적인 파일 시스템 환경의 애플리케이션을 Amazon S3로 무분별하게 이전. Object Storage의 특성을 무시한 파일 접근 방식으로 인한 예측 불가능한 애플리케이션 동작 발생. POSIX 표준 미준수 및 디렉토리 구조 부재로 인한 런타임 오류 및 비용 증가 문제 직면.

Technical Solution

• S3의 Prefix 기반 가상 폴더 구조와 실제 Object Storage의 메커니즘 차이를 인식하는 멘탈 모델 전환
• 대규모 처리량 중심의 ML 학습 및 데이터 파이프라인 워크로드를 위한 Mountpoint for S3 도입
• NFS/SMB 표준 프로토콜 지원 및 로컬 캐싱이 필요한 엔터프라이즈 환경을 위한 S3 File Gateway 활용
• 빈번한 작은 파일 쓰기보다 대용량 순차 읽기 중심의 데이터 접근 패턴 설계
• API 요청 횟수에 따른 비용 발생 구조를 고려한 효율적인 데이터 인터랙션 전략 수립
• 레거시 파일 시스템 의존성을 제거하고 Object Storage 원칙에 맞춘 워크로드 재설계

Key Takeaway

추상화 레이어는 인터페이스의 편의성을 제공할 뿐 저장소의 근본적인 시맨틱을 바꾸지 못함. 인프라 도구의 기능적 유사성에 의존하기보다 워크로드의 특성에 맞는 저장소 아키텍처를 선택하는 설계 능력이 핵심.