ํ”ผ๋“œ๋กœ ๋Œ์•„๊ฐ€๊ธฐ
Open Preference Dataset for Text-to-Image Generation by the ๐Ÿค— Community
Hugging Face BlogHugging Face Blog
AI/ML

Hugging Face ์ปค๋ฎค๋‹ˆํ‹ฐ๊ฐ€ 10K ์„ ํ˜ธ๋„ ์Œ ๋ฐ์ดํ„ฐ์…‹์„ 250๋ช… ์ด์ƒ์˜ ์ฐธ์—ฌ์ž์™€ ํ•จ๊ป˜ 2์ฃผ ๋‚ด์— ๊ตฌ์ถ•ํ•˜์—ฌ ํ…์ŠคํŠธ-์ด๋ฏธ์ง€ ์ƒ์„ฑ ๋ชจ๋ธ์˜ ์˜คํ”ˆ์†Œ์Šค ํ•™์Šต ๋ฐ์ดํ„ฐ ๋ถ€์กฑ ๋ฌธ์ œ ํ•ด๊ฒฐ

Open Preference Dataset for Text-to-Image Generation by the ๐Ÿค— Community

2024๋…„ 12์›” 9์ผ8๋ถ„intermediate

Context

ํ…์ŠคํŠธ-์ด๋ฏธ์ง€ ์ƒ์„ฑ์„ ์œ„ํ•œ ์˜คํ”ˆ ๋ผ์ด์„ ์Šค ์„ ํ˜ธ๋„ ๋ฐ์ดํ„ฐ์…‹์ด ๋ถ€์กฑํ–ˆ์œผ๋ฉฐ, ๊ธฐ์กด ์œ ์‚ฌ ํ”„๋กœ์ ํŠธ๋“ค์€ ํ”„๋กฌํ”„ํŠธ ๋‹ค์–‘์„ฑ, ๋ณต์žก๋„ ๋ณ€ํ™”, ์ฝ”๋“œ ๊ณต๊ฐœ์„ฑ ์ธก๋ฉด์—์„œ ์ œํ•œ์ ์ด์—ˆ๋‹ค.

Technical Solution

  • imgsys์—์„œ ์ˆ˜์ง‘ํ•œ ์‹ค์ œ ์‚ฌ์šฉ์ž ํ”„๋กฌํ”„ํŠธ๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ์ค‘๋ณต ๋ฐ NSFW ์ฝ˜ํ…์ธ  ํ•„ํ„ฐ๋ง: ํ…์ŠคํŠธ ๊ธฐ๋ฐ˜ ๋ถ„๋ฅ˜๊ธฐ 2๊ฐœ + ์ด๋ฏธ์ง€ ๊ธฐ๋ฐ˜ ๋ถ„๋ฅ˜๊ธฐ 2๊ฐœ ์ ์šฉ ํ›„ ์ˆ˜๋™ ๊ฒ€ํ† 
  • distilabel ํŒŒ์ดํ”„๋ผ์ธ์„ ์‚ฌ์šฉํ•ด Default, Stylized, Quality 3๋‹จ๊ณ„๋กœ ํ”„๋กฌํ”„ํŠธ ํ•ฉ์„ฑ ์žฌ์ž‘์„ฑํ•˜์—ฌ ๋ณต์žก๋„ ๋‹ค์–‘ํ™”
  • 12๊ฐ€์ง€ ์ฃผ์š” ์นดํ…Œ๊ณ ๋ฆฌ(Cinematic, Photographic, Anime, Manga, Digital art, Pixel art, Fantasy art, Neonpunk, 3D Model, Painting, Animation, Illustration)์™€ ์ƒํ˜ธ๋ฐฐํƒ€์  ํ•˜์œ„ ์นดํ…Œ๊ณ ๋ฆฌ๋กœ ํ”„๋กฌํ”„ํŠธ ๋ถ„๋ฅ˜
  • stabilityai/stable-diffusion-3.5-large์™€ black-forest-labs/FLUX.1-dev 2๊ฐœ ๋ชจ๋ธ๋กœ ์ด๋ฏธ์ง€ ์ƒ์„ฑํ•˜์—ฌ ์„œ๋กœ ๋‹ค๋ฅธ ๋ชจ๋ธ ๊ณ„์—ด ๊ฐ„ ๋น„๊ต
  • Stable Diffusion 3.5-XL ๊ธฐ๋ฐ˜ LoRA ์–ด๋Œ‘ํ„ฐ๋ฅผ ์ƒ์„ฑ๋œ ์„ ํ˜ธ๋„ ๋ฐ์ดํ„ฐ๋กœ ํŒŒ์ธํŠœ๋‹ํ•˜์—ฌ ๋ฏธ์ˆ  ๋ฐ ์˜ํ™”์  ์Šคํƒ€์ผ ์„ฑ๋Šฅ ๊ฐœ์„ 

Impact

์ปค๋ฎค๋‹ˆํ‹ฐ ์Šคํ”„๋ฆฐํŠธ ๊ฒฐ๊ณผ 250๋ช… ์ด์ƒ์˜ ์ฐธ์—ฌ์ž๋กœ๋ถ€ํ„ฐ 2์ฃผ ๋‚ด์— 30K๊ฐœ ์ด์ƒ์˜ ์ฃผ์„ ์‘๋‹ต ์ˆ˜์ง‘(10K ์„ ํ˜ธ๋„ ์Œ, 2-3๋ช… ์ฃผ์„์ž ์ค‘๋ณต), ์ƒ์œ„ 3๋ช… ์‚ฌ์šฉ์ž๋Š” 5K๊ฐœ ์ด์ƒ์˜ ์„ ํ˜ธ๋„ ๊ธฐ์—ฌ

Key Takeaway

์˜คํ”ˆ์†Œ์Šค AI ์ปค๋ฎค๋‹ˆํ‹ฐ์˜ ๋ถ„์‚ฐ ํ˜‘๋ ฅ์œผ๋กœ ๋‹ค์–‘ํ•œ ์นดํ…Œ๊ณ ๋ฆฌ, ๋ณต์žก๋„, ๋ชจ๋ธ ๊ณ„์—ด์„ ์•„์šฐ๋ฅด๋Š” ๊ณ ํ’ˆ์งˆ ์„ ํ˜ธ๋„ ๋ฐ์ดํ„ฐ์…‹์„ ๊ตฌ์ถ•ํ•  ์ˆ˜ ์žˆ์œผ๋ฉฐ, ์ด๋Š” ํ…์ŠคํŠธ-์ด๋ฏธ์ง€ ์ƒ์„ฑ ๋ชจ๋ธ์˜ DPO/ORPO ํŒŒ์ธํŠœ๋‹๊ณผ ๋น„์ „ ๋ชจ๋ธ ์ •๋ ฌ์— ํ•„์ˆ˜์ ์ธ ์ž์‚ฐ์ด ๋œ๋‹ค.


ํ…์ŠคํŠธ-์ด๋ฏธ์ง€ ์ƒ์„ฑ ๋ชจ๋ธ์„ ํŒŒ์ธํŠœ๋‹ํ•˜๋Š” ์—”์ง€๋‹ˆ์–ด๋ผ๋ฉด, ๋‹จ์ˆœ ํ”„๋กฌํ”„ํŠธ์™€ ๋ณต์žกํ•œ ํ”„๋กฌํ”„ํŠธ ์Œ์„ ๋™์ผ ์ด๋ฏธ์ง€์— ๋Œ€ํ•ด ๋ชจ๋‘ ์ˆ˜์ง‘ํ•˜๊ณ , NSFW ํ•„ํ„ฐ๋ง์„ ์œ„ํ•ด ํ…์ŠคํŠธ + ์ด๋ฏธ์ง€ ๊ธฐ๋ฐ˜ ๋ถ„๋ฅ˜๊ธฐ๋ฅผ ์กฐํ•ฉํ•œ ํ›„ ์ˆ˜๋™ ๊ฒ€ํ† ํ•˜๋Š” ๋‹ค๋‹จ๊ณ„ ํ•„ํ„ฐ๋ง ์ „๋žต์„ ์ ์šฉํ•˜๋ฉด ๋ณด๋‹ค ๊ฒฌ๊ณ ํ•œ ์„ ํ˜ธ๋„ ๋ฐ์ดํ„ฐ์…‹์„ ํ™•๋ณดํ•  ์ˆ˜ ์žˆ๋‹ค.

์›๋ฌธ ์ฝ๊ธฐ