S3를 파일 시스템으로 오해할 때 발생하는 성능 저하와 비용 폭탄 해결법

Context

전통적인 File System의 동작 방식을 Amazon S3에 그대로 적용하려는 시도에서 문제 발생. Object Storage의 특성을 무시한 설계로 인해 예측 불가능한 애플리케이션 동작과 성능 저하 초래. API 요청 횟수 증가에 따른 예기치 못한 비용 상승 문제 직면.

Technical Solution

• S3의 디렉토리 구조가 실제 폴더가 아닌 Prefix 기반의 명명 규칙임을 인식하는 멘탈 모델 전환
• 처리량 중심의 ML 학습 및 데이터 파이프라인 워크로드를 위해 Mountpoint for S3 도입
• NFS/SMB 표준 프로토콜 지원 및 로컬 캐싱이 필요한 엔터프라이즈 환경을 위해 S3 File Gateway 적용
• 빈번한 소형 파일 쓰기 및 잦은 메타데이터 변경 작업을 지양하는 데이터 액세스 패턴 설계
• POSIX 표준 준수 여부와 파일 락킹(File Locking) 부재를 고려한 애플리케이션 로직 재설계
• 단순한 인터페이스 추상화보다 Object Storage 원칙에 맞춘 워크로드 리디자인 우선 고려

Key Takeaway

기술적 추상화 도구보다 저장소의 근본적인 물리적 특성과 데이터 모델에 맞게 워크로드를 설계하는 것이 성능과 비용 최적화의 핵심임.