Qwen3.6-35B MoE 도입 통한 Local LLM 비용 96% 절감 및 공간 표현력 확보

Context

Cloud API 기반 LLM의 높은 토큰 비용과 데이터 프라이버시 문제 해결을 위한 Local LLM 전환 검토. 표준 Benchmark 중심의 모델 평가 방식이 실제 Spatial Representation 능력을 반영하지 못하는 한계 직면.

Technical Solution

• Mixture of Experts(MoE) 구조의 Qwen3.6-35B-A3B 채택을 통한 추론 효율성 극대화
• 전체 35B 파라미터 중 추론 시 3.7B만 활성화하는 A3B 설계로 Consumer Hardware 최적화
• llama.cpp 및 Metal 가속을 활용하여 macOS 통합 메모리(32GB RAM) 환경의 GPU 가속 구현
• Q4_K_M Quantization 적용으로 모델 크기를 22GB로 압축하여 메모리 병목 제거
• 32,768 Context Size 설정을 통한 대규모 텍스트 처리 능력 확보
• 실제 Use Case 기반의 ASCII Art 테스트로 텍스트 기반 공간 추론 능력 검증

Impact

• 월 예상 비용 90 USD(Claude Opus 4.7)에서 3.5 USD(전기료)로 약 96% 비용 절감
• 모델 가중치 압축(Quantization)을 통한 로컬 디바이스 내 유연한 Inference 구현

Key Takeaway

표준 Benchmark 수치보다 실제 도메인 특화 Task의 정성적 결과가 모델 선택의 결정적 기준이 됨. 특히 MoE 구조의 모델은 파라미터 규모 대비 낮은 추론 비용으로 고성능을 낼 수 있어 Local Inference 환경의 최적 대안임.