Lemonade by AMD: GPU와 NPU를 활용한 빠른 오픈소스 로컬 LLM 서버
AMD 하드웨어 최적화, 멀티모달 통합 로컬 LLM 서버 Lemonade
Hugging Face가 kernel-builder 도구와 kernels 라이브러리로 ROCm 커스텀 커널의 빌드·배포·통합 프로세스를 표준화하여 개발자가 CMake/컴파일러 에러 처리 없이 AMD GPU용 고성능 커널을 작성·공유 가능하게 함
Easily Build and Share ROCm Kernels with Hugging Face
AMD와 Hugging Face가 Transformers 라이브러리에 AMD Instinct GPU 네이티브 지원을 추가해 코드 변경 없이 MI250에서 A100 대비 2.33배 높은 디코딩 처리량 달성
AMD + 🤗: Large Language Models Out-of-the-Box Acceleration with AMD GPU
Hugging Face와 AMD가 파트너십을 통해 Instinct MI250에서 BERT-Large 1.2배, GPT2-Large 1.4배 빠른 훈련 성능 달성
Hugging Face and AMD partner on accelerating state-of-the-art models for CPU and GPU platforms
AMD GPU와 ROCm을 활용해 Vicuna-13B 모델을 단일 GPU에서 28GB에서 GPTQ 4비트 양자화로 메모리 요구량을 대폭 감소시켜 실행
Run a Chatgpt-like Chatbot on a Single GPU with ROCm