단일 명령어로 vLLM 서버 구축 및 OpenAI API 호환 엔드포인트 확보
Run a vLLM Server on HF Jobs in One Command
Kubernetes 기반 vLLM 배포를 통한 OpenAI 호환 LLM API 구축
Your First LLM API on Kubernetes: From Model to Curl Request
TTFT 200ms 미만 달성을 위한 시스템 레벨 LLM 최적화 전략
Optimizing LLM Model Performance for Real-Time Applications
CLI 기반 .flm 아티팩트를 통한 LLM 서빙 파이프라인의 단순화
Serving any LLM using a single command line with Flama
FP8/INT8 KV Cache Quantization을 통한 메모리 50% 절감 및 처리량 확대
KV cache quantization: what FP8/INT8 K and V actually buy you, and where they break
Slack EngineeringSageMaker에서 Bedrock 기반 Multi-Cloud로 전환하여 LLM 운용 효율 및 모델 적시성 극대화
Slack AI: The Path to Multi-Cloud
vLLM Recipes 개편 - 모델+하드웨어 조합별 설정을 딸각 한방으로
모델-하드웨어 최적 조합 자동화를 위한 vLLM Recipes 아키텍처 개편
Speculative Decoding의 한계 돌파, DFlash로 구현한 병렬 토큰 생성
Speculative Decoding’s Ceiling Just Moved With DFlash