3D Gaussian Splatting이 삼각형 래스터화 대신 가우시안 기반 래스터화로 포토리얼리스틱한 장면을 실시간 렌더링 구현

Context

기존 신경 방사장(NeRF) 기법은 고품질 3D 장면 렌더링이 가능하지만 실시간 성능을 달성하기 어려웠다. 삼각형 메시 기반 전통 래스터화는 빠르지만 포토리얼리스틱한 표현의 한계가 있었다.

Technical Solution

• Structure from Motion(COLMAP 라이브러리)으로 2D 이미지 집합에서 3D 점군 생성
• 점군의 각 점을 위치(XYZ), 공분산(3x3 행렬), 색상(RGB), 투명도(α) 파라미터를 가진 가우시안으로 변환
• Stochastic Gradient Descent로 학습: 미분 가능한 가우시안 래스터화를 통해 이미지 렌더링 → 손실 계산 → 파라미터 조정
• 자동 밀집화 및 가지치기 적용: 구배가 큰 가우시안은 분할/복제, 작은 가우시안은 복제, 큰 가우시안은 분할, 투명도가 낮은 가우시안은 제거
• 2D 투영 → 깊이순 정렬 → 픽셀별 전면-배면 블렌딩의 순서로 래스터화 실행

Impact

아티클에 명시된 정량적 성능 수치가 없음. 다만 메모리 요구사항 명시: 뷰어용 4GB VRAM, 학습용 12GB VRAM, 장면당 디스크 용량 1GB 이상.