Apple Silicon 메모리 대역폭 병목 해결을 통한 MLX 추론 속도 최대 87% 향상

Context

LLM 토큰 생성 단계가 Compute-bound가 아닌 Memory-bandwidth-bound 구조라는 기술적 제약 존재. 모델 가중치 전체를 매 토큰 생성 시마다 메모리에서 읽어야 하는 특성으로 인해 GPU 코어 수보다 메모리 대역폭이 성능의 절대적 결정 요인으로 작용함.

Technical Solution

• Unified Memory 구조를 활용하여 CPU-GPU 간 데이터 복사 오버헤드를 제거한 MLX 프레임워크 채택
• FP16 대비 데이터 전송량을 4배 감소시켜 처리량을 직접적으로 높이는 Q4_K_M Quantization 적용
• 계층별 민감도에 따라 비트 정밀도를 다르게 할당하는 Hierarchical super-block 기반 K-quants 설계 도입
• 메모리 대역폭 포화 지점인 14B 파라미터 이하 모델에 최적화된 MLX 커널 최적화 수행
• Prefill 단계의 선형적 시간 증가 문제를 해결하기 위해 입력 길이에 따른 MLX와 llama.cpp의 선택적 런타임 스위칭 전략 수립

Impact

• 14B 이하 모델에서 llama.cpp 대비 20~87% 빠른 생성 속도 달성
• Ollama 0.19 MLX 백엔드 도입으로 Decode 성능 93% 향상 및 전체 소요 시간 45% 단축
• Q4_K_M 양자화를 통한 모델 크기 75% 감소 및 Perplexity 손실 3.3% 수준으로 억제
• M4 Pro 칩셋의 2.3배 증가한 메모리 대역폭을 통한 추론 속도 2배 이상 가속

Key Takeaway

하드웨어의 계산 능력(TFLOPS)보다 데이터 이동 경로의 대역폭(GB/s)이 병목인 시스템에서는 모델 경량화와 메모리 접근 최적화가 가장 효율적인 성능 개선 경로임.