Artificial Analysis가 45,000건의 인간 선호도 데이터와 ELO 스코어링으로 Text-to-Image 모델 랭킹 시스템 구축

Context

이미지 생성 모델 품질 평가는 인간의 미적 선호도 편차로 인해 객관적 지표로는 비교가 어려웠으며, 전통적 평가 방식은 언어 모델 평가보다 훨씬 복잡했다. Midjourney, DALL·E, Stable Diffusion 등 다양한 오픈소스 및 상용 모델들의 상대적 성능을 파악할 방법이 부재했다.

Technical Solution

• 크라우드소싱 기반 인간 선호도 수집: Image Arena에서 700+ 이미지를 각 모델당 생성하고 사용자에게 프롬프트 대비 더 나은 이미지를 선택하게 함
• ELO 스코어 계산: 45,000건의 인간 선호도 데이터에 대한 회귀 분석을 통해 각 모델의 ELO 스코어 산출
• 다양한 평가 카테고리 적용: 인물 초상, 그룹 사진, 동물, 자연, 미술 등 700+ 프롬프트로 광범위한 사용 사례 커버
• Hugging Face Spaces 기반 공개 랭킹: Text-to-Image Leaderboard를 누구나 접근 가능한 웹 인터페이스로 제공
• 개인화된 랭킹 제공: 사용자가 30개 이미지 투표 후 자신의 선호도 기반 개인 랭킹 확인 가능

Impact

DALL·E 2는 1년 전 최강자였으나 현재는 Image Arena에서 25% 이하의 선택률로 하락했고, 오픈소스 모델 Playground AI v2.5가 OpenAI DALL·E 3를 능가하는 순위에 도달했다.