Serverless Event-driven 구조를 통한 미디어 분석 파이프라인의 확장성 및 탄력성 확보

Context

미디어 파일 분석 작업의 불규칙한 트래픽 스파이크와 긴 처리 시간으로 인한 기존 서버 기반 아키텍처의 비용 효율성 및 확장성 한계 발생. 단일 서버 구조의 취약한 가용성과 예측 불가능한 스케일링 문제 해결 필요.

Technical Solution

• EventBridge를 S3와 파이프라인 사이에 배치하여 페이로드 패턴 매칭 기반의 선언적 이벤트 라우팅 및 필터링 구현
• Step Functions State Machine 도입을 통한 재시도 로직, 타임아웃, 병렬 분기 처리의 구성 요소화로 코드 복잡도 제거
• Rekognition, Transcribe, Bedrock 등 Managed AI 서비스의 Parallel state 배치를 통한 분석 작업의 동시 처리 효율 극대화
• .waitForTaskToken 및 폴링 메커니즘을 활용한 비동기 AI 작업 완료 시점의 상태 머신 제어
• S3 버킷의 raw/processed 접두사 분리 및 Lifecycle rule 설정을 통한 데이터 관리 효율성 및 비용 최적화
• DynamoDB 기반의 메타데이터 영속화 구조를 통한 다운스트림 쿼리 성능 확보