SuperGemma4 - 구글 Gemma 4 26B의 비검열/속도개선/양자화 모델

Context

원본 Gemma 4 26B 모델의 엄격한 콘텐츠 필터링으로 인한 응답 제한과 로컬 환경에서의 추론 리소스 병목 발생. 특히 멀티모달 기능 포함으로 인해 텍스트 전용 작업 시 불필요한 오버헤드 존재.

Technical Solution

• Apple Silicon 최적화를 위한 MLX 프레임워크 기반 아키텍처 전환
• 모델 크기 최적화 및 메모리 효율성 확보를 위한 4-bit Quantization 적용
• 텍스트 처리 성능 극대화를 위해 멀티모달 기능을 배제한 Text-only 플래그십 설계
• 콘텐츠 필터 제거(Uncensored)를 통한 응답 제약 해소 및 출력 안정성 확보
• BF16 및 U32 텐서 조합과 Safetensors 포맷 채택으로 로드 속도 및 메모리 정렬 최적화
• OpenAI 호환 서버 인터페이스 통합을 통한 외부 파이프라인 연동 편의성 증대

Impact

• 퀵벤치 점수 91.4점에서 95.8점으로 상승
• 생성 속도 46.2 tok/s 달성 및 원본 대비 8.7% 속도 향상
• 코드 생성 점수 98.6점(+6.3) 기록을 통한 Python 리팩토링 정확도 개선
• 한국어 프롬프트 점수 95.0점(+4.3) 달성으로 다국어 처리 안정성 확보
• 모델 크기를 약 13GB 수준으로 경량화하여 로컬 GPU 메모리 점유율 감소

Key Takeaway

특정 하드웨어(Apple Silicon)에 최적화된 프레임워크와 양자화 전략을 결합하여, 파라미터 규모가 큰 모델에서도 실시간 응답성에 가까운 추론 성능 확보 가능.