96GB VRAM 환경에서 CPU 오케스트레이션 병목 해결 및 API 경제성 분석
I spent two weeks optimizing 96GB of VRAM for local LLMs. Paid APIs still won.
에이전트 코딩에 로컬 LLM 활용하기
로컬 LLM과 Deterministic Harness 조합을 통한 코딩 품질 최대 6배 향상
AI 에이전트 비용 최적화를 위한 3단계 Cost-Compression 레이어 구조 정립
KVarN, Cost.dev, headroom — the week the agent runtime bill got itemized
llama.cpp Tensor Parallelism 도입으로 vLLM급 70t/s 성능 달성
llama.cpp b9455 Finally Caught vLLM: 70t/s on 2x3090 Qwen 27B UQ8
GTX 1080에서 Gemma 4 26B MoE 모델 24.5 tok/s 달성
Running Gemma 4 26B on an Old GTX 1080 with llama.cpp
Rapid-MLX - Apple Silicon 전용 초고속 로컬 AI 엔진
MLX 기반 Metal 커널 최적화로 Ollama 대비 최대 4.2배 추론 가속
Qwen3.6-27B와 Llama.cpp 기반의 로컬 AI 코딩 에이전트 구축
Usage-based pricing killing your vibe - here's how to roll your own local AI coding agents
Heterogeneous GPU 환경에서 MoE 모델과 Graph Splitting을 통한 추론 속도 3~4배 가속
Upgrading Kiwi-chan’s Brain: Pushing a 30GB "Frankenstein" GPU Rig to the Limit with Qwen 3.6-35B-A3B
KV Cache 양자화 및 FlashAttention 통한 LLM VRAM 최적화
RTX 4090 Cooling, LLM KV Cache Quantization, & Deepseek V4 Flash Models
DeepSeek v4 384K Context 확장 및 KV Cache Quantization 최적화
Deepseek v4 Flash, Gemma/Qwen KV Cache Quantization & 384K Context
Hugging Face가 KV Cache Quantization을 도입해 장문 생성 시 메모리 사용량을 유의미하게 절감하면서 모델 정확도 유지
Unlocking Longer Generation with Key-Value Cache Quantization