AMD와 Hugging Face가 Transformers 라이브러리에 AMD Instinct GPU 네이티브 지원을 추가해 코드 변경 없이 MI250에서 A100 대비 2.33배 높은 디코딩 처리량 달성
AMD + 🤗: Large Language Models Out-of-the-Box Acceleration with AMD GPU
AMD GPU와 ROCm을 활용해 Vicuna-13B 모델을 단일 GPU에서 28GB에서 GPTQ 4비트 양자화로 메모리 요구량을 대폭 감소시켜 실행
Run a Chatgpt-like Chatbot on a Single GPU with ROCm