4천만 개 저장소 대상 다국어 메타데이터셋 구축 및 3종 분류기 앙상블 제공

Context

범용 웹 텍스트 기반 AI 모델의 유럽어 및 소수 언어 표현 부족 문제 발생. 개발자 협업 데이터(README, Issues, PR)의 특수성을 반영한 고품질 다국어 학습 데이터 확보 필요성 증대.

Technical Solution

• 4천만 개 이상의 Public Repository 대상 README, 최다 댓글 Issue, 최다 댓글 PR의 메타데이터 추출
• 데이터 노이즈 제거를 위해 20자 미만 텍스트 제외 및 150자 샘플링 기반의 분석 파이프라인 설계
• fastText, gcld3, lingua-py 등 특성이 다른 3종의 Language Classifier를 병렬 적용한 교차 검증 구조 채택
• 단일 레이블 통합 대신 Classifier별 결과와 Confidence Score(0.5 초과분)를 개별 제공하여 사용자가 Precision-Recall Trade-off를 직접 결정하도록 설계
• Repository 생성일, 디스크 사용량, Stars, Forks 등 시스템 메타데이터를 결합한 고밀도 인덱싱 구조 구축

Impact

• 4,000만 개 이상의 저장소 및 8,000만 건 이상의 분류 행(Classification Rows) 확보
• 포르투갈어 README 300만 개 이상 식별 등 언어별 분포 데이터 정량화

Key Takeaway

분류 모델의 완벽한 Ground-truth 확보가 어려운 도메인에서는 단일 정답을 강제하기보다 다수의 분류 지표와 신뢰도 점수를 함께 노출하여 엔지니어가 분석 목적에 맞게 필터링 수준을 조정하게 하는 유연한 데이터 설계 전략이 유효함.