Lemonade by AMD: GPU와 NPU를 활용한 빠른 오픈소스 로컬 LLM 서버

Context

로컬 LLM 실행 시 ROCm 드라이버 및 의존성 설정의 복잡성 존재. GPU와 NPU 등 서로 다른 하드웨어 가속기 간의 통합 관리 어려움. 각 모달리티별 API 분산으로 인한 프로토타이핑 효율 저하.

Technical Solution

• [Runtime] → FastFlowML 기반 Ryzen AI CPU NPU 리눅스 활용 설계
• [Interface] → OpenAI 및 Ollama 호환 엔드포인트 통합 제공 방식
• [Orchestration] → LLM, STT, TTS, 이미지 생성 모델의 단일 서버 통합 구조
• [Backend] → ROCm, Vulkan, CPU, NPU 등 다양한 AMD 하드웨어 가속 지원 전략
• [Deployment] → Snap, PPA, RPM 패키지를 통한 원스톱 설치 체계

Impact

• 커널 7.0.0 기준 Vulkan 성능이 ROCm 대비 20% 이상 향상
• MacBook M1 Max 환경 Qwen3.5-9B 모델 실행 시 Ollama(1분 44초) 대비 Lemonade(1분 14초) 속도 우위
• GPT OSS 120B 모델 기준 초당 약 50토큰 처리 속도 달성

Key Takeaway

개별 런타임 추상화를 넘어 하드웨어 가속기와 멀티모달 API를 통합하는 오케스트레이션 계층의 중요성.