LlamaStash, 1% 미만 Overhead로 llama-server 성능 극대화

Context

LLM 추론 서버 래퍼 도구들은 편의성을 제공하는 대신 성능 저하(Overhead)를 유발하는 경향이 있음. 특히 OpenAI 호환 프록시 계층의 추가로 인한 TTFT 증가와 Decode 속도 저하가 주요 병목 지점으로 작용함.

Technical Solution

• unmodified upstream llama-server를 직접 Spawn 하는 구조를 통해 런타임 Overhead 제거
• LlamaStash OpenAI-compat proxy를 초경량 설계하여 sub-millisecond 단위의 전송 지연 시간 구현
• 하드웨어별 최적의 GPU Layer 할당 및 Flash-Attention 자동 활성화를 통한 Default 설정 최적화
• 매칭 플래그(Matched-flags) 기반의 벤치마크 설계를 통해 래퍼 계층의 순수 성능 영향도 검증
• No central database 기반의 데이터 관리 구조를 채택하여 스키마 마이그레이션 비용 제거

Impact

• Matched flags 기준 Apple Silicon 및 AMD APU에서 1% 이내의 성능 오차 유지
• Mac Qwen 모델 기준, 최적화된 Default 설정을 통해 raw llama-server 대비 Decode 속도 7.3% 향상
• OpenAI proxy 통신 시 TTFT 영향도를 -0.6ms(Mac) ~ +0.57ms(NVIDIA) 수준으로 억제
• Ollama 대비 AMD APU Decode 속도 38~72% 우위 확보 및 LM Studio의 TTFT Tax(170-2300ms) 제거

Key Takeaway

추상화 계층(Wrapper) 설계 시 핵심 엔진의 실행 경로를 방해하지 않는 'Stay out of the way' 원칙이 성능 유지의 핵심이며, 정교한 Default 설정 제공만으로도 사용자 경험상의 성능 이득을 창출할 수 있음.