DeepSeek-V4-Flash 524k Context에서 85 tok/s 달성 및 CUDA-first 런타임 구현

Context

기존 TensorRT, PyTorch 등 고수준 프레임워크의 추상화 계층으로 인한 오버헤드가 실시간 Transformer 추론의 지연 시간을 유발함. 대규모 Context Window 처리 시 VRAM 부족과 연산 효율 저하라는 하드웨어 제약 사항이 상존함.

Technical Solution

• W4A16+FP8 Quantization 도입을 통한 VRAM 점유율 감소 및 연산 처리량 증대
• MTP(Multi-Tentative Prediction) Self-Speculation 적용으로 메인 모델의 중복 연산 제거 및 토큰 생성 속도 가속화
• High-level 프레임워크를 배제하고 CUDA Bare-metal에 근접한 FlashRT 런타임을 설계하여 메모리 액세스 패턴 및 커널 런칭 최적화
• VLA(Vision-Language Assistant) 등 실시간성 요구 시나리오를 위해 Inference Pipeline의 세밀한 제어 구조 구현
• 구형 Enterprise GPU(V100)의 Tensor Core 활용 및 Active Cooling 모딩을 통한 비용 대비 연산 성능 극대화

Impact

• DeepSeek-V4-Flash: 524k Context Window에서 85.52 tok/s, 128k Context에서 111 tok/s 달성
• Budget Setup: $200 규모의 V100 모딩 하드웨어가 RTX 3060 대비 우월한 LLM 추론 성능 기록

Key Takeaway

프레임워크의 추상화 비용이 임계치에 도달했을 때 Bare-metal 최적화(CUDA-first)로 전환하여 Latency를 극단적으로 낮추는 전략적 접근 필요. Quantization과 Speculative Decoding의 조합이 대규모 Context 처리의 실질적 병목을 해결하는 핵심 설계 패턴임.