Ge'ez 스크립트 최적화 및 Fine-tuning을 통한 에티오피아 최초 Voice AI 튜터 구현

Context

Amharic 언어의 특수성과 Ge'ez 스크립트의 복잡성으로 인한 기존 NLP 라이브러리의 Tokenization 오류 발생. 단순 번역 기반 Localization의 한계와 Low-resource language의 학습 데이터 부족 문제를 해결해야 하는 상황.

Technical Solution

• Ge'ez 스크립트의 200여 개 문자를 반영한 Custom Tokenizer 설계로 Tokenization 정확도 개선
• Multilingual base model에 Amharic 전용 토큰을 추가하는 Fine-tuning 전략으로 학습 효율 극대화
• Whisper(STT), Llama(LLM), CoquiTTS(TTS)를 결합한 파이프라인 구축을 통한 음성 인터페이스 구현
• Regex 기반의 Language Detection 시스템을 도입하여 Amharic-English Code-switching 현상 처리
• 에티오피아 교육 과정 및 문화적 맥락을 반영한 데이터셋 구축으로 모델의 응답 적합성 향상
• 인터넷 인프라 제약을 극복하기 위한 Offline-capable 아키텍처 설계