O(n²) Attention 병목 해결을 위한 연산 최적화 및 Memory IO 혁신
Why Attention Becomes the Bottleneck — And How Efficient Attention Fixes It
SRAM Tiling 기반 O(N) 메모리 효율 및 MOE 30% 성능 가속
FlashAttention CUDA Kernel, Strix Halo MOE Boost, & NVIDIA DLSS 4.5 Driver Update
Symmetric Pooling으로 512K 컨텍스트 전방 패스 21배 가속 및 학습 시간 30% 단축
Lighthouse Attention: The Training-Time Hierarchy That Makes Quadratic Attention Practical Again
CMP 100-210 Tensor Core 제약을 DP4A/HFMA2 우회로 해결한 Qwen3.5 추론 엔진
I wrote a custom CUDA inference engine to run Qwen3.5-27B on $130 mining cards
KV Cache 양자화 및 FlashAttention 통한 LLM VRAM 최적화
RTX 4090 Cooling, LLM KV Cache Quantization, & Deepseek V4 Flash Models
DeepSeek v4 384K Context 확장 및 KV Cache Quantization 최적화
Deepseek v4 Flash, Gemma/Qwen KV Cache Quantization & 384K Context