피드로 돌아가기
Dev.toAI/ML
원문 읽기
Two-pass Sandwich 파이프라인을 통한 AI 스타일 전이 및 $0.01 저비용 이미지 생성 구현
I shipped a free AI-art site with a flawed LoRA and ran a 75-image ablation to prove it
AI 요약
Context
소규모 데이터셋(~300개)으로 학습된 LoRA 모델의 가중치 설정에 따른 스타일 발현과 이미지 붕괴 사이의 Trade-off 발생. 단순 단일 패스 추론 시 스타일 부족 또는 해부학적 구조 파괴라는 기술적 제약에 직면함.
Technical Solution
- LoRA Scale 2.0을 적용한 Pass-1 단계에서 강력한 스타일 핑거프린트를 생성하여 스타일 부족 문제 해결
- Pass-1의 결과물을 Seed로 사용하고 LoRA를 제거한 FLUX.2-klein 기반 Pass-2(strength=0.9)를 수행하여 파괴된 해부학적 구조를 재구성하는 Sandwich 구조 설계
- Training-set Leakage로 인한 Cyrillic 문자 생성 및 특정 구도 고착화를 확인하기 위해 5개 변수와 3개 Seed를 조합한 75장 규모의 Ablation Test 수행
- SQLite WAL 모드와 Cursor Pagination 도입을 통한 검색 쿼리 최적화 및 데이터베이스 부하 감소
- 단순 카테고리 프롬프트를 넘어 형용사, 동작, 장면 풀을 활용한 확률 기반(55/20/15/10) 프롬프트 다변화 로직 적용
실천 포인트
- LoRA 모델 도입 시 가중치 변화에 따른 결과물의 정량적 비교를 위해 다수 Seed 기반의 Ablation Matrix 작성 - 스타일 전이 시 해부학적 붕괴가 발생한다면 img2img 기반의 Two-pass 정제 파이프라인 검토 - AI 생성 서비스의 데이터베이스 설계 시 Offset 방식 대신 Cursor Pagination을 적용하여 대량 데이터 조회 성능 확보 - 프롬프트 단조로움 해결을 위해 요소별 가중치 기반의 Random Pool 조합 전략 도입