Gemini-Qwen 하이브리드 파이프라인을 통한 PDF 분석 최적화
How I Built an AI Exam App in 8 Months to outsource studying
DSpark: Speculative decoding을 활용한 LLM 추론 가속화 [pdf]
DSpark: 준자기회귀 구조로 Speculative Decoding 속도 60~85% 가속
Grafted-head 기반 DSpark를 통한 Lossless 추론 성능 2-4배 가속
DeepSeek's DSpark Brings Speculative Decoding Back Into the Spotlight — Here's What Developers Need to Know
从SGLang、vLLM的异同推演未来AI演化
RadixAttention 통한 Agent 처리량 최대 70% 향상 및 PD 분리 아키텍처 구현
Self-hosting LLM: VRAM 제약으로 인한 모델 Tier 하락과 제어권 확보의 Trade-off
The Open-Model Cost Chart Everyone's Sharing Is API Prices. Here's What Self-Hosting Actually Gets You (Measured)
DeepSeek V4-Pro의 75% 가격 인하와 Gemini 3.5 Flash의 시장 진입
AI API Price War: DeepSeek V4-Pro Cuts 75% & Gemini 3.5 Flash Lands
96GB VRAM 환경에서 CPU 오케스트레이션 병목 해결 및 API 경제성 분석
I spent two weeks optimizing 96GB of VRAM for local LLMs. Paid APIs still won.
로컬 Qwen은 더 나쁜 Opus가 아니라 다른 도구다
RTX 6000 기반 로컬 Qwen 도입을 통한 데이터 주권 확보 및 매출 회수 달성
IndexShare 기반 1M Context 확보 및 오픈 모델 성능 1위 달성
GLM-5.2: The Most Powerful Open Model yet and the Brutal Reality of Running It
NVFP4 양자화 통한 Qwen3.6-35B VRAM 71GB에서 23GB로 3.06배 절감
Qwen3.6-35B NVFP4 runs on one H100 — A100 owners are out
Speculative Decoding의 수치적 불일치 해결을 통한 1.9배 Throughput 확보 및 신뢰성 검증
Speculative decoding shifted our output distribution and evals missed it
Ollama의 추상화 벽을 넘어 llama.cpp 기반의 고성능 Open Inference 환경으로의 전환
1,175 Redditors Just Told You to Stop Using Ollama — Here's Why Local AI Tooling Got Serious
IndexShare 기반 compute FLOPs 2.9배 절감 및 1M context 확보
Open-Weights Long-Horizon Coding LLMs: India's AI Future 2026
IndexShare 도입으로 1M Context 구현 및 per-token FLOPs 2.9배 절감
GLM-5.2: Built for Long-Horizon Tasks
MiMo-V2.5-Pro-UltraSpeed: 초당 1000토큰을 생성하는 1T 모델
Commodity GPU로 1T 모델 1000 TPS 달성한 모델-시스템 Codesign
MTP와 최적화 스택으로 Qwen3.6-27B 추론 속도 2.25배 향상
Doubling Qwen3.6-27B on One RTX 3090: ollama llama.cpp + MTP, Lever by Lever (35.7 80.2 tok/s)
Commodity GPU 환경에서 1T 모델 1000 tokens/s 돌파
MiMo-v2.5-Pro-UltraSpeed: 1T model with 1000 tokens per second
MTP 기반 Speculative Decoding으로 Gemma 4 추론 속도 최대 2.2배 향상
Google LiteRT-LM Speeds Up Local Inference Up to 2.2x With Gemma 4 Multi-Token Prediction
Speculative Decoding 도입으로 p50 TTFT 380ms에서 140ms로 단축
Speculative decoding: when and why it actually speeds up inference
llama.cpp Tensor Parallelism 도입으로 vLLM급 70t/s 성능 달성
llama.cpp b9455 Finally Caught vLLM: 70t/s on 2x3090 Qwen 27B UQ8