Rapid-MLX - Apple Silicon 전용 초고속 로컬 AI 엔진

Context

기존 로컬 LLM 추론 엔진의 Apple Silicon 하드웨어 가속 활용 부족으로 인한 성능 저하 발생. 특히 대규모 컨텍스트 처리 시 프리필 속도 저하 및 TTFT 지연이 주요 병목 지점으로 작용함.

Technical Solution

• Apple MLX 프레임워크 기반 Native Metal Compute Kernel 활용을 통한 하드웨어 최적화
• DeltaNet 상태 스냅샷 도입으로 복원 시간을 0.1ms 수준으로 단축하여 멀티턴 대화 TTFT 개선
• TurboQuant V-cache 적용을 통한 KV 캐시 메모리 사용량 86% 절감 및 효율적 메모리 관리
• KV 캐시 트리밍 및 프리필 청킹 기법을 통한 대규모 컨텍스트 처리 효율 극대화
• 4bit/8bit/mxfp4 양자화 포맷 및 RAM 용량별 최적 모델 매핑 구조 설계를 통한 자원 효율 최적화
• 텍스트 기반 도구 호출 오류를 자동으로 구조화된 형식으로 복구하는 파서 내장으로 신뢰성 확보

Impact

• Phi-4 Mini 14B 기준 180 tok/s 달성(Ollama 56 tok/s 대비 3.2배 향상)
• Kimi-Linear-48B 기준 캐시 상태 TTFT 0.08초 구현
• Qwen3.5-9B 기준 108 tok/s 달성(Ollama 41 tok/s 대비 2.6배 향상)
• TurboQuant V-cache 적용으로 메모리 점유율 86% 감소

Key Takeaway

특정 하드웨어(Apple Silicon)의 Native 가속 라이브러리를 직접 활용하고 KV 캐시 최적화 기법을 결합함으로써 범용 엔진 대비 압도적인 추론 성능 확보 가능함.