MoE 및 Dual RoPE 기반 256K 컨텍스트 구현 및 추론 효율 극대화

Context

기존 Open-Source LLM의 성능-포터빌리티 간 상충 관계 및 클라우드 API 의존성으로 인한 데이터 프라이버시 제약 존재. 특히 긴 컨텍스트 처리 시 발생하는 Quality Collapse와 추론 비용의 기하급수적 증가가 주요 병목 지점으로 작용.

Technical Solution

• Mixture-of-Experts(MoE) 구조를 통한 26B 파라미터 중 3.8B만 활성화하여 연산량 최적화
• Local Sliding-window와 Global Full-context Attention을 5:1 비율로 교차 배치하여 sub-quadratic 추론 복잡도 달성
• Standard RoPE와 Proportional RoPE scaling을 병행 적용한 Dual RoPE 전략으로 256K 컨텍스트 내 품질 저하 방지
• Per-Layer Embeddings(PLE) 도입을 통해 소형 모델의 레이어별 컨텍스트 민감도 및 표현력 강화
• 최상위 6개 레이어의 KV Cache 공유 설계를 통한 메모리 대역폭 병목 현상 완화
• 4-bit(Q4_K_M) Quantization 적용으로 온디바이스 환경의 실시간 추론 속도 확보