피드로 돌아가기
Dev.toAI/ML
원문 읽기
LVT 기반 대규모 3D 씬 재구성 및 VLF MRI 해상도 최적화 전략
June 25 - AI, ML and Computer Vision Meetup
AI 요약
Context
Transformer 기반 3D Scene Reconstruction의 Quadratic Attention으로 인한 대규모 씬 확장성 한계 발생. 또한 초저자기장(VLF) MRI 시스템의 낮은 이미지 품질로 인한 정밀 진단 및 신경 영상 분석의 제약 존재.
Technical Solution
- Global Attention을 Local View Transformer(LVT)의 Locality-aware Attention으로 대체하여 연산 복잡도 개선
- 상대적 카메라 기하학(Relative Camera Geometry) 조건화를 통한 인접 뷰 기반의 효율적 정보 처리
- 3D Gaussian Splats로의 직접 디코딩을 통한 뷰 의존적 색상 및 불투명도 구현 및 고충실도 렌더링 달성
- CycleGAN 기반 Unpaired Domain Adaptation을 적용한 VLF MRI의 대비(Contrast) 조화 및 표준화
- Simulation 기반 ResUNet 모델 도입을 통한 노이즈 제거 및 T2-weighted 구조적 충실도 보존
- Zero-shot Super-resolution 및 Self-supervised Learning을 활용한 저해상도 이미지 품질 고도화
실천 포인트
- 대규모 데이터 처리 시 Global Attention의 병목 확인 후 Locality-aware 구조 검토 - 저품질 센서 데이터 처리 시 CycleGAN 등 Unpaired 학습을 통한 데이터 정규화 적용 - 하드웨어 제약 사항을 해결하기 위한 Simulation-based 사전 학습 모델 구축 고려