Native Multimodality와 128K Context를 통한 온디바이스 AI 효율 극대화

Context

기존 LLM의 단순 파라미터 확장 중심 설계로 인한 소비자 하드웨어의 추론 비용 및 메모리 점유율 증가 문제 발생. Vision Encoder를 단순 결합한 Adapter 방식의 Multimodality 구현으로 인한 시각-언어 간 잠재 공간 불일치 한계 존재.

Technical Solution

• 31B Dense와 26B MoE(활성 파라미터 3.8B)의 이원화 구조를 통한 추론 속도와 지식 밀도 최적화
• Per-Layer Embeddings(PLE) 도입을 통해 트랜스포머 블록 내부로 임베딩 정보를 주입하여 소형 모델의 Semantic Density 강화
• Sliding Window Attention과 Global Attention을 교차 배치한 Hybrid Alternating Attention으로 128K Context window의 VRAM 사용량 최적화
• 텍스트, 이미지, 오디오를 동일 Latent Space에서 동시 학습시킨 Native Multimodality 설계로 시각적 논리 추론 능력 확보