MoE 및 Dual RoPE 기반 256K 컨텍스트 구현 및 추론 효율 극대화
Gemma 4: The Next Frontier in Open-Source AI for Developers
HBM 읽기 비용 최적화를 통한 LLM 추론 비용 및 속도 결정 구조 분석
Why does paying more make your LLM reply faster?
bfloat16 도입을 통한 64K Context 처리 및 0.5M TPS 달성
Is Brain Float (bf16) Worth it?
Autoregressive Generation 구조로 인한 Output 비용 4배 증가 및 KV Cache 최적화
Part 8 — Token-by-Token: Why AI Generates Text One Word at a Time (And Why It Costs 4x More)
CXL 3.0 기반 Memory Pooling으로 512GB/s 대역폭 확보 및 메모리 자원 공유
Memory godboxes could offer relief from the RAMpocalypse
Gemma 4 26B MoE 기반 Local-first AI 디자인 에셋 인덱싱 시스템 구축
RefVault: a local-first design reference vault, powered by Gemma 4 26B MoE
antirez/ds4 - Metal용 DeepSeek V4 Flash 로컬 추론 엔진
2-bit 양자화 및 KV 디스크 캐싱을 통한 로컬 DS4 Flash 추론 최적화
Gemma 4 26B MoE 기반으로 API 비용 0원 및 프라이버시 확보한 로컬 AI 코딩 환경 구축
Building a Fully Offline AI Coding Assistant with Gemma 4 — No Cloud Required 🤖
GKE 기반 1M 칩 Hypercluster 및 gVisor 기반 Agent Sandbox 구현
Google Announces GKE Agent Sandbox and Hypercluster at Next '26, Positioning Kubernetes as AI Agent
Disaggregated Prefill과 Infire 엔진을 통한 LLM 인프라 최적화
Cloudflare Builds High-Performance Infrastructure for Running LLMs
DeepSeek V4 – 프런티어에 거의 근접했고 가격은 훨씬 저렴
HCA/mCH 도입으로 KV 캐시 90% 절감 및 추론 비용 혁신
LLM 병렬 요청 처리를 통한 응답 속도 최대 5배 개선
Multiple Independent Questions: Batch Into One Request or Split Into Many? — An Analysis of LLM Concurrent Processing
Quantization과 KV Cache 분석을 통한 GPU VRAM 최적 설계
The Math Behind Local LLMs: How to Calculate Exact VRAM Requirements Before You Crash Your GPU
Temperature 제어를 통한 확률적 텍스트 생성 루프 구현 및 KV Cache 최적화
Chapter 12: Inference - Generating New Text
Draft Model 최적화 및 KV Cache 조정으로 VRAM 9.3GiB 절감 및 OOM 해결
I Fixed My LLM OOM Crashes by Shrinking the Draft Model (Speculative Decoding on Real Hardware)
KV Cache 고려 VRAM 정밀 계산 기반의 Local LLM 최적 운용 체계 구축
How to Stop Drowning in Open Model Releases and Actually Run One Locally
Triton 기반 KV-cache 압축으로 VRAM 3.37배 효율화 및 P99 0.69ms 달성
GPU Hardware, VRAM Optimization & Next-Gen Driver Updates
KV Cache 압축을 통한 70B 모델의 8GB RAM 구동 실현
KVQuant: Run 70B LLMs on 8GB RAM with Real-Time KV Cache Compression
GLM-5 대규모 서비스 중 발견한 레이스 컨디션 버그 수정기 — Coding Agent 추론 인프라의 Scaling Pain
KV Cache 레이스 컨디션 해결 및 LayerSplit 통한 처리량 최대 132% 개선
AI Agent의 Production 전환을 위한 Context 및 Inference 최적화 전략
QCon AI Boston 2026 Schedule: Agents in Production, Inference Cost, and AI in the SDLC