TII가 Falcon-Arabic의 한계점을 분석해 Mamba-Transformer 하이브리드 아키텍처로 재설계하여 컨텍스트 윈도우를 32K에서 256K 토큰으로 확대

Context

이전 Falcon-Arabic 모델은 긴 문맥 이해, 방언 변이 처리, 수학적 추론, 도메인 특화 지식에서 성능 한계를 보였다. 컨텍스트 윈도우가 32K 토큰으로 제한되어 장문 문서 분석 같은 응용이 실무적으로 불가능했다.

Technical Solution

• Mamba State Space Model과 Transformer attention을 각 블록 내에서 병렬 실행하고 표현을 융합하는 Falcon-H1 하이브리드 아키텍처 도입: Mamba의 선형 시간 복잡도와 Transformer의 정밀한 장거리 의존성 모델링을 동시에 확보
• 컨텍스트 윈도우를 3B 모델에서 128K 토큰, 7B/34B 모델에서 256K 토큰으로 확대: 약 200,000 단어 또는 수백 쪽의 기술 문서 처리 가능
• 아랍어 정자법, 형태학, 음성 부호, 구문 패턴을 고려한 다단계 품질 필터링으로 전처리 데이터 파이프라인 재구축: 개방형 웹 코퍼스의 노이즈 제거 및 문체 일관성 향상
• 이집트, 레반트, 걸프, 마그레브 방언 커버리지 대폭 확대: 현실의 다양한 아랍어 사용 스펙트럼 학습
• 아랍어, 영어, 다국어 콘텐츠를 거의 동일 비중(총 3,000억 토큰)으로 혼합 학습: 코드, STEM, 다국어 추론 성능 유지
• Post-training 단계에서 감독된 미세 조정(SFT) 후 직접 선호도 최적화(DPO) 적용: "lost in the middle" 문제 해결으로 전체 컨텍스트 범위 활용

Impact

Falcon-H1-Arabic 3B, 7B, 34B 모델이 동일 규모 및 더 큰 최첨단 모델들을 능가하는 성능 달성.

Key Takeaway

아랍어의 풍부한 형태론과 유연한 문장 구조를 고려하여 하이브리드 아키텍처를 설계하고, 사용자 피드백 기반으로 데이터 품질과 방언 다양성을 극적으로 개선하면 특정 언어권의 언어 모델 성능을 질적으로 향상시킬 수 있다.