The Character Consistency Problem: Why Every AI Video Tool Still Fails at the One Thing That Matters Most

Context

AI 비디오 생성 도구는 단일 샷의 인상적인 결과를 보여주지만, 같은 인물이 여러 장면에 걸쳐 일관된 외형(얼굴, 피부톤, 의류)을 유지하지 못한다. 저자가 8개 장면이 포함된 60초 기업 설명 영상을 제작할 때 이 문제로 인해 작업 지연과 품질 저하를 경험했다.

Technical Solution

• Reference image pinning: Kling에서 제공하는 기능으로 여러 각도의 인물 이미지를 입력하면 모델이 이를 기준으로 외형을 매칭하려 시도하지만, 포즈가 크게 달라지면 일관성 붕괴
• LoRA fine-tuning: 20~30개 이미지로 경량 모델을 훈련(훈련 시간: 1 인물당 수 시간)하여 가장 일관된 결과를 생성하지만, 계산 리소스와 머신러닝 이해도 필요
• 분리 생성 후 합성: 인물을 중립 환경에서 생성 → 배경 별도 생성 → 후처리로 합성하는 워크플로우로 각 요소를 독립적으로 제어하되 조명·그림자·원근감 매칭은 수작업 필요
• 실제 영상 촬영 + AI 편집: NemoVideo, Descript 같은 도구로 실제 인물 영상을 촬영한 후 AI로 편집(자막, 컬러 보정, 포맷 변환)을 수행하여 일관성 문제를 완전히 회피

Impact

저자의 테스트에서 Runway는 포토리얼 출력이 우수했으나 8장면 중 인물의 머리 길이, 피부톤, 얼굴 구조가 변화했고, Kling은 얼굴 일관성은 80% 달성했으나 의류 색상이 거의 모든 장면에서 변했으며, Seedance는 8장면 중 3장면에서 완전히 다른 인물로 인식되어 22회 재생성 후 포기, Pika는 카메라 각도 변경 시 인물이 연속성을 깨질 정도로 변화했다. 클라이언트는 최종적으로 실제 촬영(소요 시간: 반나절)으로 변경했다.