Stateless Streaming 구조로 구현한 멀티 플랫폼 미디어 다운로더

Context

플랫폼별 상이한 미디어 포맷과 TikTok의 공격적인 Anti-Bot 정책으로 인한 데이터 추출의 어려움 존재. 서버 디스크 I/O 병목과 ephemeral storage 제한을 해결해야 하는 컨테이너 환경의 제약 사항 직면.

Technical Solution

• yt-dlp의 stdout을 ReadableStream으로 직접 연결한 Streaming Response 구현을 통한 Stateless 서버 설계
• Instagram Carousel의 다중 슬라이드 처리를 위한 Promise.all 기반 병렬 fetch 및 archiver를 이용한 On-the-fly ZIP 패키징
• TikTok의 Watermark 제거를 위해 내부 API의 play_addr_h264 필드를 타겟팅하는 로직 적용
• API 변경에 대응하기 위해 Docker build 시 최신 바이너리를 확보하고 Weekly Cron Job으로 nightly 업데이트 수행
• In-memory Map 기반의 Rate Limiting 적용을 통한 서버 자원 보호 및 Redis 도입 전 단계의 경량 제어 구조 설계
• next/dynamic을 활용한 컴포넌트 코드 분할로 초기 번들 크기 최적화