yt-dlp 기반 TikTok 메타데이터 추출 및 데이터 파이프라인 구축

Context

단순 영상 다운로드 시 캡션, 해시태그 등 컨텍스트 정보가 소실되는 문제 발생. 익명화된 MP4 파일로 인한 데이터 검색 불가 및 재작업으로 인한 리소스 낭비 상황 분석.

Technical Solution

• --write-info-json 플래그를 통한 비디오-메타데이터 간 1:1 매핑 구조 설계
• --batch-file 및 --output 템플릿을 활용한 작성자/날짜 기반의 계층적 스토리지 구조 자동화
• --dump-json --no-download 옵션으로 미디어 리소스 제외 순수 데이터만 추출하는 경량 파이프라인 구현
• JSON의 계층 구조를 CSV로 평탄화(Flattening)하여 데이터 분석 효율성 확보
• UTF-8 인코딩 강제를 통한 이모지 및 특수문자 데이터 무결성 유지
• Point-in-time 스냅샷 특성을 고려한 주기적 재추출 및 타임스탬프 기록 전략 수립