단일 프로세스 내 Dynamic Model Switching 구현으로 Llama-Server 유연성 확보

Context

기존 llama.cpp 서버의 1프로세스 1모델 바인딩 제약으로 인한 모델 교체 시 프로세스 재시작 필수 구조. 이로 인한 요청별 모델 전환 오버헤드와 운영 효율성 저하 발생.

Technical Solution

• 모델 디스패처(Model Dispatcher) 개념 도입을 통한 정적 바인딩 구조 탈피
• 요청 필드의 model ID를 기반으로 메모리 적재 여부를 판단하는 Dynamic Loading 로직 구현
• INI 설정 파일을 통한 모델별 Context Window, GPU Layer(ngl), Thread 수의 개별 최적화 정의
• 요청 처리 후 모델을 유지하거나 언로드하는 Warm-up 관리 메커니즘 적용
• OpenAI 호환 API 인터페이스를 통한 클라이언트 측의 무중단 모델 전환 환경 제공