0.2B 경량 모델로 10B급 성능 구현한 Moebius 및 멀티모달 최적화 전략

Context

Generative Vision 모델의 거대화로 인한 높은 리소스 소모와 느린 추론 속도가 모바일 및 실시간 파이프라인 배포의 병목으로 작용. 특히 Image Inpainting 분야에서 고품질 결과물을 얻기 위해 과도한 파라미터 의존도가 지속되는 한계 존재.

Technical Solution

• Local-λ Mix Interaction(LλMI) 블록 설계를 통한 로컬 텍스처 디테일과 글로벌 시맨틱 정보의 효율적 교환 구조 구축
• Adaptive Multi-granularity Distillation 기법을 적용하여 거대 모델의 지식을 경량 모델로 전이하는 지식 증류 최적화
• Parallel Decoding 및 Structured Attention Masking을 도입하여 멀티모달 영역별 캡셔닝의 순차 처리 병목을 해결한 병렬 추론 구조 설계
• Contact-driven Framework 및 PICA 메커니즘을 통한 물리적 접촉 신호 기반의 로봇 제어 정책 수립으로 촉각 센서 의존도 제거
• Contamination-aware 평가 체계를 갖춘 다국어 벤치마크 설계를 통해 특정 언어 오버피팅을 방지하는 검증 루프 구축

Impact

• Moebius 모델의 파라미터 규모를 0.2B로 축소하면서도 10B 수준의 고해상도 Inpainting 품질 유지