Qwen 3.6 27B는 로컬 개발의 최적 지점
Qwen 3.6 27B 기반 MTP 적용 로컬 LLM 추론 가속 최적화
HBM 병목 해결을 위한 Online Softmax 기반 Flash Attention 설계 분석
I Built Flash Attention From Scratch — Here's What Nobody Tells You About It
llama-bench FA 기본값 교정으로 하드웨어 가속 최적화 실현
llama-bench skipped FA on capable GPUs — b9437 corrects it
머신러닝 취업 면접 - 완벽 가이드
박사급 RS 오퍼 싹쓸이를 위한 ML 시스템 구현 및 인터뷰 최적화 전략
LlamaStash, 1% 미만 Overhead로 llama-server 성능 극대화
How fast is LlamaStash? Overhead, throughput, and a fair comparison with Ollama and LM Studio
10년 된 Xeon이면 충분하다
2016년형 Xeon 및 DDR3 환경에서 MTP 및 MoE 최적화를 통한 Gemma 4 26B 실행
Hugging Face가 Lower Precision, Flash Attention, 아키텍처 혁신(Alibi, Rotary embeddings, MQA, GQA)을 조합해 LLM 프로덕션 배포 시 VRAM 요구량 및 추론 지연 감소
Optimizing your LLM in production
Hugging Face가 PyTorch FSDP와 meta device를 활용한 단계별 모델 로딩으로 Llama 2 70B 파인튜닝 시 CPU RAM 사용량을 2TB에서 1.5GB 수준으로 감소
Fine-tuning Llama 2 70B using PyTorch FSDP