필리핀 언어(타갈로그어, 세부아노어) 대규모 언어모델(LLM) 성능 평가를 위해 FilBench 벤치마크 스위트를 개발해 20개 이상의 최신 LLM을 4개 범주 12개 태스크로 체계적 평가

Context

필리핀은 전 세계 ChatGPT 사용자의 4위권 국가임에도 불구하고 타갈로그어, 세부아노어 등 필리핀 언어에 대한 LLM 성능 평가가 체계적으로 이루어지지 않았다. 기존 평가는 ChatGPT 스크린샷 같은 일화적 증거에만 의존했으며, 필리핀 언어에 대한 LLM 능력의 명확한 이해가 부족했다.

Technical Solution

• 4개 평가 범주 + 12개 태스크로 구성된 FilBench 벤치마크 스위트 설계: Cultural Knowledge(지역·문화 특정 정보), Classical NLP(고유명사 인식, 감정 분석, 텍스트 분류), Reading Comprehension(가독성, 이해력, 자연언어 추론), Generation(번역 능력)
• 2006~2024년 필리핀 언어 NLP 연구 역사 조사를 기반으로 평가 카테고리 선정 및 대부분의 카테고리를 번역되지 않은 원문 콘텐츠로만 구성
• Hugging Face Lighteval 프레임워크 위에 FilBench 구축하고, 영어-타갈로그어(또는 세부아노어) 번역 쌍 사전 정의(예: oo=yes, hindi=no, totoo=true)
• 각 범주의 예제 수에 따른 가중 평균으로 단일 대표 점수(FilBench Score) 계산
• 20개 이상의 최신 LLM을 FilBench로 평가하고 결과를 Hugging Face 리더보드로 공개

Impact

• SEA-specific LLM(SEA-LION, SeaLLM)이 동일 파라미터 크기의 다른 모델 대비 최고 FilBench 점수 달성하며 매개변수 효율성 입증
• SEA-specific 학습 데이터로 지속적 파인튜닝 시 2~3% 성능 향상 확인
• 오픈 가중치 LLM이 상용 모델(GPT-4o)보다 비용 효율적이면서도 필리핀 언어 태스크 성능에서 경쟁력 있음을 검증

Key Takeaway

다국어 LLM 평가는 단순한 벤치마크 점수가 아니라 특정 언어·문화 커뮤니티의 실제 NLP 연구 우선순위 및 사용 패턴을 기반으로 설계되어야 하며, 공개 평가 프레임워크를 통해 지역 언어 개선 연구의 투명성과 접근성을 높일 수 있다.