피드로 돌아가기
GeekNewsAI/ML
원문 읽기
OpenShorts - 무료 오픈소스 클립 생성기 & AI UGC 비디오 제작 도구
Gemini와 MediaPipe 기반의 셀프 호스팅 AI 숏츠 자동 생성 파이프라인 구축
AI 요약
Context
기존 유료 클립 생성 도구의 높은 월 구독료와 데이터 외부 유출 리스크 존재. 영상 분석부터 크롭, 자막 생성까지 이어지는 복잡한 워크플로우를 단일 시스템으로 통합할 필요성 대두.
Technical Solution
- Google Gemini 3.0 Flash를 통한 트랜스크립트 분석 및 감정 점수 기반의 Viral Moment 추출 로직 설계
- MediaPipe 얼굴 감지와 YOLOv8 백업 메커니즘을 결합한 동적 9:16 리프레임 TRACK 모드 구현
- faster-whisper 기반의 단어 단위 타임스탬프 추출을 통한 정밀한 자동 자막 번인 프로세스 구축
- Gemini가 생성한 동적 FFmpeg 필터를 적용하여 영상 색 보정 및 트랜지션 자동화
- Docker 기반 셀프 호스팅 구조와 클라이언트 측 API 키 암호화를 통한 데이터 프라이버시 확보
- 비동기 업로드 프로세스와 S3 백업을 연동한 소셜 미디어 퍼블리싱 파이프라인 구성
실천 포인트
1. 비디오 리프레임 시 단일 모델의 한계를 보완하기 위한 듀얼 트래킹(MediaPipe + YOLOv8) 전략 검토
2. LLM을 활용해 FFmpeg 필터 구문을 동적으로 생성하여 영상 효과를 자동화하는 패턴 적용
3. 민감한 API 키 관리를 위해 서버 저장 방식이 아닌 클라이언트 측 암호화 방식 고려