M1 Max 기반 Local ML 모델을 통한 669GB 영상 인덱싱 시스템 구축

Context

방대한 GoPro 영상 데이터에서 특정 순간을 효율적으로 검색하기 위한 인덱싱 체계 부재. 클라우드 기반 분석의 비용 및 프라이버시 제약을 해결하기 위해 로컬 환경의 온디바이스 ML 처리 구조 필요.

Technical Solution

• 데이터 프라이버시 확보와 비용 절감을 위해 M1 Max 하드웨어 가속을 활용한 Local ML Pipeline 설계
• 영상 데이터를 분석 가능한 단위로 분할하여 처리하는 프레임 샘플링 및 인덱싱 로직 구현
• Open-source ML 모델을 적용하여 영상 내 객체 및 상황을 텍스트 기반으로 벡터화하는 검색 엔진 구축
• 분석된 메타데이터를 기반으로 특정 클립을 DaVinci Resolve 타임라인으로 직접 전송하는 워크플로우 자동화
• 대용량 파일 처리에 따른 메모리 병목 해결을 위해 로컬 리소스 최적화 및 배치 처리 방식 채택

Impact

• 총 628개 영상(668.68 GB)에 대한 인덱싱 완료
• 전체 영상 재생 시간 15시간 13분 18초 분량의 데이터 처리 성공

Key Takeaway

고성능 로컬 하드웨어(Apple Silicon)와 Open-source ML 모델의 조합을 통해 클라우드 의존성 없는 대규모 비정형 데이터 분석 파이프라인 구축 가능