Unicode Normalization 기반 다국어 검색 및 정렬 최적화

Context

표준 키보드의 영문 중심 설계로 인한 Yorùbá어 특수 문자 입력 불가 현상 발생. 단순 텍스트 매칭 방식으로는 성조 및 하단 점(dot) 유무에 따른 단어 의미 차이를 구분하지 못해 검색 결과 누락 및 정렬 오류가 발생하는 구조적 한계 직면.

Technical Solution

• Unicode NFD(Normalization Form Canonical Decomposition) 방식을 통한 합성 문자의 기본 문자-결합 문자 분리 구조 채택
• 정규 표현식을 활용해 결합 문자 범위([\u0300-\u036f])를 제거하는 Search Normalization 로직 설계로 입력 장치 독립적 검색 기능 구현
• 언어적 특성을 반영하여 단순 성조 표시는 제거하고 의미를 결정하는 하단 점(dot)은 보존하는 Sort Normalization 로직 구축
• 데이터베이스 저장 시 원본 문자열을 보존하고 조회 및 정렬 시점에만 정규화 함수를 적용하는 투명한 변환 레이어 설계
• 기본 문자와 결합 문자의 분리 처리 방식을 통한 타 아프리카 톤 언어(Igbo, Efik 등)로의 확장 가능한 범용 인터페이스 확보