DS4에 대한 몇 마디

Context

기존 LLM 추론 프레임워크인 llama.cpp의 과도한 추상화와 비대해진 코드베이스로 인한 개발 속도 저하 발생. 대규모 모델의 로컬 구동을 위해 하드웨어 제약 사항 내에서 최대 지능을 확보해야 하는 엔지니어링 과제 직면.

Technical Solution

• llama.cpp의 범용적 추상화 대신 특정 모델에 집중한 경량 C 코드베이스 기반의 전용 추론 엔진 설계
• 96GB VRAM 내 적재를 위해 Q2~Q3 수준의 고밀도 양자화 및 imatrix 양자화 기법 적용
• Metal(Apple Silicon), CUDA(DGX Spark), ROCm 등 하드웨어 백엔드를 분리하여 최적의 하드웨어 가속 성능 확보
• MoE(Mixture of Experts) 구조를 활용하여 전체 파라미터 대비 활성 파라미터를 최소화함으로써 추론 속도 개선
• 추론 API 서버와 실행 하네스를 분리한 구조를 통해 제어력 향상 및 의존성 감소 달성