Bonsai Image 4B - 로컬 기기용 1비트/터너리 이미지 생성 모델

Context

고성능 이미지 생성 모델인 FLUX.2 Klein 4B의 거대한 가중치 크기로 인한 로컬 하드웨어 메모리 부족 문제 발생. 특히 확산 트랜스포머가 모델의 대부분을 차지하며 런타임 메모리 압박과 대역폭 병목을 유발하는 한계 존재.

Technical Solution

• FLUX.2 Klein 4B 아키텍처를 유지하며 Diffusion Transformer 가중치를 1-bit 또는 Ternary 표현으로 치환하는 양자화 전략 채택
• 1-bit 변형의 경우 Binary {−1, +1} 가중치와 FP16 그룹 단위 Scaling Factor를 조합하여 유효 비트 1.125bit 구현
• Ternary 변형은 {−1, 0, +1} 가중치를 통해 0 상태를 추가함으로써 시각적 품질과 Prompt Fidelity를 보완하는 설계 적용
• 정밀도 민감도가 높은 5%의 Projection Layer를 FP16으로 유지하여 양자화로 인한 성능 급락을 방지하는 Hybrid 정밀도 구조 설계
• Apple Silicon의 MLX low-bit 경로 및 CUDA의 Gemlite low-bit GEMM 커널을 활용한 하드웨어 가속 최적화