Apache 2.0 전환 및 Hybrid Attention 기반 256K 컨텍스트 구현

Context

기존 Gemma 시리즈의 폐쇄적인 라이선스 정책으로 인한 엔터프라이즈 도입 제약 발생. 또한 대규모 컨텍스트 처리 시 VRAM 사용량이 선형적으로 증가하는 메모리 병목 지점 존재.

Technical Solution

• Local Sliding Window와 Global Attention을 교차 배치한 Hybrid Attention 구조 설계로 VRAM 효율 최적화
• 모델 규모별 512~1024 토큰 슬라이딩 윈도우 적용을 통한 256K Context Window 확장 구현
• 26B A4B 모델에 MoE(Mixture of Experts) 아키텍처를 도입하여 4B 수준의 추론 비용으로 26B급 성능 확보
• E2B/E4B 엣지 전용 Dense 모델 설계를 통한 NPU/GPU 가속 기반 온디바이스 추론 최적화
• 가변 시각 토큰 버짓(70~1120 tokens) 설정을 통한 이미지 품질과 컨텍스트 비용 간의 Trade-off 제어
• 별도 ASR 레이어 없는 Native Audio 이해 구조를 E2B/E4B 모델에 통합