피드로 돌아가기
Hacker NewsAI/ML
원문 읽기
Iterative Sampling 제거를 위한 Flow Maps 기반 Integral 직접 예측 구조 설계
Learning the Integral of a Diffusion Model
AI 요약
Context
Diffusion Model의 샘플링 과정은 매 단계 Tangent Direction을 추정하여 적분하는 반복적 프로세스로 인한 높은 연산 비용 발생. Deterministic Sampling을 통한 경로 최적화 시도에도 불구하고 반복 횟수에 비례하는 추론 시간 지연이라는 구조적 한계 존재.
Technical Solution
- Tangent Direction의 반복 추론 대신 Integral 값을 직접 예측하는 Flow Maps 아키텍처 도입
- Noise distribution과 Target distribution 사이의 Bijection 관계를 정의하여 고유 경로(Unique Paths) 생성
- Sampling 단계에서 수행하던 적분 연산을 Training 단계에서 Amortized 방식으로 사전 계산
- 임의의 지점에서 경로 상의 다른 지점으로 즉시 이동 가능한 Mapping 함수 설계
- MeanFlow 및 Terminal Velocity Matching(TVM) 기법을 통한 예측 오차 최소화 및 학습 안정성 확보
- Reward-based learning 및 Sampling Steerability를 통한 생성 결과의 제어 가능성 확장
실천 포인트
- 반복적 추론(Iterative Inference)으로 인한 병목 발생 시, 연산 과정을 함수 형태로 근사하는 Distillation 또는 Mapping 구조 검토 - 샘플링 경로의 Deterministic 특성을 활용하여 Inference 시점의 계산 복잡도를 Training 시점으로 전이 가능한지 분석 - 비유클리드(Non-Euclidean) 또는 이산 데이터(Discrete Data) 적용 시 Flow Map의 수렴 가능성 검증