연구팀이 아랍어 STEM 및 코드 생성 평가를 위해 3개 데이터셋(Native STEM 865개, Synthetic STEM 1,744개, 코드 벤치마크)으로 구성된 3LM 벤치마크 도입

Context

아랍어 대규모언어모델(LLM)의 평가가 요약, 감정 분석 등 일반 목적 작업에 편중되어 있으며, STEM 과목과 코드 생성 같은 기술 영역에서의 성능 측정 도구가 부재했다. 특히 구조적 추론과 형식논리 같은 영역은 아랍어 자연언어처리에서 전통적으로 소외되어 있었다.

Technical Solution

• Native STEM 데이터셋 구성: 8~12학년 아랍어 교과서, 워크시트, 시험 은행에서 OCR(Pix2Tex를 통한 LaTeX 수학 수식 파싱 포함) + LLM 기반 질의응답 추출 + 수동 검토를 거친 865개의 객관식 문제 수집
• Synthetic STEM 데이터셋 구성: YourBench 파이프라인을 사용해 아랍어 교과서 텍스트를 청킹·요약한 후 LLM 기반 질문 생성 시스템으로 1,744개의 중상 난도 문제 생성 및 명확성·구조·내용 유효성 기반 필터링
• 코드 벤치마크 적응: HumanEval+과 MBPP+ 벤치마크를 아랍어로 번역 및 적응하되, GPT-4o를 사용한 프롬프트 번역 후 역번역 파이프라인(ROUGE-L F1 < 0.8 기준 낮은 품질 제거)으로 검증하고 코드 및 테스트 스위트는 보존
• 평가 도구 통합: lighteval으로 STEM 객관식 및 개방형 평가 수행, EvalPlus 프레임워크로 코드 생성의 pass@1 및 pass@1+ 메트릭 평가
• 모델 평가 범위: 40개 이상의 아랍어 전용, 다국어, 일반 목적 베이스 및 인스트럭션 튜닝 모델 평가

Impact

• MCQ 설정에서 Qwen2.5-72B-Instruct가 Native STEM 71.8%, Synthetic STEM 67.0% 정확도 달성
• 완성 작업에서 Gemma-3-27B가 STEM 답변 43.2% 정확도 달성
• 코드 생성에서 GPT-4o가 HumanEval-ar 83.5% pass@1+, MBPP-ar 63.6% pass@1+ 성능 달성
• 아랍어와 영어 pass@1 점수 간 상관관계 약 0.97 측정
• 인스트럭션 튜닝 모델이 베이스 모델 대비 분산기 교란 상황에서 현저히 높은 안정성 확인

Key Takeaway

아랍어 LLM 평가의 역사적 공백을 채우기 위해 실제 교육 자료 + 합성 데이터 + 다언어 코드 벤치마크를 조합함으로써, 단순 언어 이해를 넘어 수학적 추론과 프로그래밍 능력을 종합 평가할 수 있는 기초를 마련했다. 이는 기술 영역에서 저자원 언어의 모델 개발 및 검증을 위한 설계 패턴을 제시한다.