Cross-Modal Distillation을 통한 2.3MB 경량 모델의 실시간 대피 경로 최적화

Context

산불 대피 물류 네트워크의 다중 모달 데이터(위성 이미지, 텍스트 정책, 센서 수치)를 통합 처리하는 과정에서 발생하는 추론 지연 및 리소스 제약 파악. 기존 단일 모달 처리 방식의 파편화된 의사결정 구조로 인한 실시간 정책 반영 한계점 분석.

Technical Solution

• Multi-Modal Fusion 기반의 Teacher Model을 통해 위성 이미지(CNN), 텍스트 정책(Transformer), 수치 데이터(MLP)의 상관관계 학습
• Edge Device 환경의 제약을 고려하여 텍스트와 수치 데이터만 처리하는 경량 Student Model 설계
• 실시간 정책 제약(AQI 임계치, 도로 폐쇄 등)을 Distillation Loss Function에 직접 임베딩하여 제약 조건 준수 강제
• Constraint-aware Attention 구조를 도입하여 텍스트 및 수치 특징량과 정책 임베딩 간의 가중치 최적화
• Quantization-aware Training 및 Neural Architecture Search(NAS)를 통한 모델 파라미터 최적화

Impact

• Quantization 및 NAS 적용을 통해 모델 크기를 2.3MB까지 축소
• 모델 경량화 이후에도 88%의 추론 정확도 유지

Key Takeaway

추론 시점에 모든 모달리티가 필요하지 않더라도, 학습 단계에서 Teacher Model을 통해 모달리티 간 상관관계를 학습시키면 Student Model의 성능을 극대화할 수 있는 전이 학습 원리 확인.