YOLOv8과 CLIP 기반의 Multi-modal 파이프라인을 통한 의약품 식별 자동화
From Pills to Pixels: Building an Intelligent Home Pharmacy Manager with YOLOv8 and CLIP 💊✨
CLIP 파인튜닝 전략으로 건축 스타일 분류 정확도 26%p 향상
Fine-tuning CLIP on a Niche Domain: How I Got +26pp Accuracy on Architectural Styles and What You Can Apply to Your Own Domain
데이터 45배 증가에도 성능 저하된 LoRA의 정체성 붕괴 해결 및 재설계
[Day 5] My Cat-LoRA Got Worse With 45x More Photos. So I Figured Out Why and Fixed It.
LINE Engineering
대규모 서비스 환경에서의 이미지 콘텐츠 모더레이션(feat. 멀티모달 LLM)
LY Corporation이 전통 ML 모델과 멀티모달 LLM의 하이브리드 구조를 도입해 대규모 이미지 콘텐츠 모더레이션에서 정확도와 처리 속도 간 균형을 달성했다
Hugging Face가 Text-to-Image 모델의 6가지 편향 소스(학습 데이터, 데이터 필터링, 추론, 잠재 공간, 사후 필터링, 사용 맥락)를 체계적으로 분석해 평가 방법론 정립
Ethics and Society Newsletter #4: Bias in Text-to-Image Models
Hugging Face가 Vision-Language 모델의 5가지 사전학습 전략(Contrastive Learning, PrefixLM, Cross Attention, MLM/ITM, No Training)을 Transformers에 통합해 멀티모달 태스크 구현 단순화
A Dive into Vision-Language Models
Hugging Face가 CLIPSeg 모델을 Transformers 라이브러리에 통합해 사전 학습 없이 임의의 객체를 세그멘테이션하는 제로샷 이미지 분할 기능 제공
Zero-shot image segmentation with CLIPSeg
TWIML 커뮤니티 팀이 OpenAI의 CLIP 모델을 RSICD 위성 이미지 데이터셋으로 파인튜닝해 텍스트 기반 위성 이미지 검색 서비스 구축
Fine tuning CLIP with Remote Sensing (Satellite) images and captions