피드로 돌아가기
Dev.toAI/ML
원문 읽기
Neural Matching 기반 이미지 정렬로 프레임 수용률 19.7%에서 53.2%로 개선
Seasons time-lapse - alignment
AI 요약
Context
다양한 기기(S10, S21, iPhone 14 Pro)의 Focal Length 차이와 촬영 각도 오차로 인한 이미지 불일치 발생. 단순 Homography 적용 시 발생하는 Perspective Distortion과 RANSAC의 비결정적 회전 값으로 인한 지평선 드리프트 현상 해결 필요.
Technical Solution
- ORB 및 RANSAC 기반의 Feature Matching을 통한 초기 기하학적 변환 구현
- Perspective Distortion 방지를 위해 3x3 Homography 매트릭스를 Translation과 Uniform Scale만 처리하는 2x3 매트릭스로 축소 설계
- 지평선 드리프트 제거를 위해 RANSAC 이후 Rotation 값을 강제 0으로 설정하고 Translation을 분석적으로 재계산하는 파이프라인 구축
- 특정 영역에 쏠린 Keypoint 클러스터링 방지를 위해 이미지를 4x4 Grid로 분할하고 셀당 Keypoint 수를 제한하여 공간적 균일성 확보
- 저텍스처 환경(설경, 안개) 대응을 위해 SuperPoint(Detector)와 LightGlue(Matcher) 기반의 Neural Matching 모델 도입 및 MPS 가속 활용
- Parallax 현상으로 인한 RANSAC 오판단을 해결하고자 RANSAC Inlier의 LightGlue Confidence 평균값 기반으로 정렬 품질 측정 방식 변경
실천 포인트
1. 서로 다른 하드웨어 특성(Focal Length 등)을 고려한 Scale Tolerance 범위 설정 여부 확인
2. Feature Matching 시 특정 영역 쏠림 방지를 위한 Spatial Distribution 전략 적용 검토
3. 기하학적 변환 적용 시 Overfitting으로 인한 왜곡을 막기 위해 Matrix 자유도(Degrees of Freedom) 제한 고려
4. 전통적 알고리즘의 한계 지점에서 Deep Learning 기반의 Fallback 전략 수립