고차원 밀도·스코어 추정을 위한 단일 Transformer 구조, KDE 대비 오차 최대 37배 감소

Context

데이터 분포 복원을 위해 Density와 Score 추정이 필수적이나, 기존 KDE는 고차원에서 정확도가 급격히 하락하는 한계 보유. 반면 Neural Score-matching 모델은 높은 정확도를 보이나 분포 변경 시 매번 재학습이 필요한 높은 비용 발생.

Technical Solution

• Cross-attention 구조 채택을 통한 데이터 샘플 기반의 실시간 Density 및 Score 동시 추정 설계
• Density와 Score의 수학적 관계(Score는 Log-density의 Gradient)를 활용한 Shared Backbone 및 Dual-head 아키텍처 구성
• Density-Score 간의 일치성을 검증하는 Label-free Consistency Loss 도입을 통한 Out-of-distribution 데이터 적응력 강화
• Attention 메커니즘을 Gaussian Kernel의 일반화 형태로 정의하여 KDE의 기능을 포함하고 확장한 구조 설계
• GMM(Gaussian Mixture Models) 기반의 무한한 합성 데이터 생성을 통한 보편적 분포 근사 학습 수행

Impact

• 100차원 환경에서 최적화된 KDE 대비 Score Error 6.5배 감소 및 Density Error 37배 이상 감소
• 학습 데이터 범위를 벗어난 Laplace, Student-t 분포 및 다중 모드 분포에서도 높은 추정 정확도 유지
• 샘플 수 증가에 따른 성능 향상 지속 및 KDE의 메모리 부족 문제 해결

Key Takeaway

고전적 알고리즘(KDE)의 수학적 원리를 딥러닝 아키텍처(Attention)의 특수 사례로 통합하여 범용성과 정확도를 동시에 확보한 설계 전략