Fused MLP 설계를 통한 HBM 트래픽 제거 및 커널 최적화
Profiling in PyTorch (Part 2): From nn.Linear to a Fused MLP
CS336: 처음부터 만드는 언어 모델링
Triton 기반 FlashAttention2 및 분산 학습으로 LLM Full-stack 구현
From Scratch 기반 LLM 풀스택 설계 및 GPU 최적화 구현
CS336: Language Modeling from Scratch
Triton 기반 KV-cache 압축으로 VRAM 3.37배 효율화 및 P99 0.69ms 달성
GPU Hardware, VRAM Optimization & Next-Gen Driver Updates
Unsloth가 Triton 커널 기반 최적화로 LLM 파인튜닝 속도 2배 향상 및 메모리 사용량 40% 감소
Make LLM Fine-tuning 2x faster with Unsloth and 🤗 TRL