16GB M1 Mac에서 3-bit Quantization 기반 Qwen3.6-27B 구동 전략

Context

27B 파라미터 규모의 LLM을 16GB Unified Memory 환경에서 실행할 때 발생하는 메모리 부족 및 SSD Swapping 문제 분석. 모델 가중치, KV Cache, OS 런타임이 동일 메모리 풀을 공유함에 따른 심각한 성능 저하 가능성 식별.

Technical Solution

• Unified Memory 최적화를 위해 Apple Silicon 전용 프레임워크인 MLX 채택
• 메모리 점유율 최소화를 위한 BF16 배제 및 3-bit/IQ3 수준의 Aggressive Quantization 모델 선택
• KV Cache 메모리 팽창 억제를 위한 --max-kv-size 1024 제한 설정
• 출력 토큰 수를 200~512개로 제한하여 메모리 압박으로 인한 시스템 프리징 방지
• 결정론적 결과 도출 및 변동성 제어를 위해 Temperature 0.1의 보수적 샘플링 적용
• 메모리 가용성 확보를 위해 Docker 및 Chrome 등 고점유 프로세스 강제 종료 프로세스 구축