Even GenAI uses Wikipedia as a source

Context

위키미디어 사이트들이 RAG 애플리케이션과 AI 학습용 데이터 수집으로 인한 대규모 스크래핑으로 인프라 부하가 증가하고 있었다. 기존 API와 SPARQL 쿼리 서비스는 다수의 반복 호출로 인해 과도한 계산 리소스를 소비하고 있었다.

Technical Solution

• Wikidata 위에 벡터 데이터베이스 구축: 119만 항목 중 Wikipedia 페이지와 연결된 3,000만 항목을 벡터화
• 필터링 기반 선별: 현재 테스트에 적합한 데이터만 선정하여 불필요한 확장 방지
• 의미론적 검색 활성화: 벡터 데이터베이스 제공으로 단순한 API 다중 호출 대신 단일 접근점 제공
• 오픈소스 AI 커뮤니티 활성화: 벡터화된 Wikidata를 활용하여 오픈소스 AI 프로젝트 개발 지원
• 인프라 효율화: 스크래핑 부하를 분산 처리 방식으로 전환하여 기존 시스템의 리소스 소비 감소

Impact

처리된 데이터 규모: 1.78 테라바이트 텍스트 데이터, 119만 항목 중 3,000만 항목 벡터화 완료

Key Takeaway

스크래핑 저항이 아닌 협력적 데이터 제공 구조로 전환하면 AI 시스템의 부하를 줄이면서 동시에 커뮤니티 활성화를 이룰 수 있다. 전체 데이터셋에서 테스트 가능한 의미 있는 부분집합을 선정하여 단계적으로 확장하는 접근이 제한된 리소스 환경에서 효과적이다.