GGUF에는 가중치 외에 무엇이 들어 있고, 아직 무엇이 빠져 있나?

Context

LLM 실행을 위해 모델 가중치 외에도 채팅 템플릿, 특수 토큰, 샘플러 설정 등 다양한 부가 정보가 필요함. 기존에는 이러한 정보가 외부 JSON이나 마크다운 파일로 분산되어 모델 교체 시 추론 엔진별 하드코딩과 수동 설정이 발생하는 파편화 문제가 존재함.

Technical Solution

• 모델 실행에 필요한 모든 메타데이터를 단일 파일에 통합하여 배포 및 로딩 프로세스를 단순화한 GGUF 구조 설계
• Jinja2 기반 채팅 템플릿을 포함하여 대화 구조, 도구 호출, 멀티미디어 인코딩을 추론 엔진 수준에서 처리하도록 구현
• general.sampling.sequence 필드를 도입하여 샘플링 단계의 순서를 명시함으로써 모델별 최적의 응답 품질 보장
• 종료 토큰(EOS) 및 특수 토큰 정의를 파일 내에 내장하여 엔진의 생성 중단 로직을 표준화
• 프로젝션 모델 번들링 및 기능 플래그 도입을 통해 멀티모달 지원 여부와 생각 구간 분리 기능을 표준화하려는 확장 방향 제시

Key Takeaway

모델 가중치와 실행 환경 설정을 하나의 아티팩트로 결합하는 'Self-describing' 구조를 통해 런타임 의존성을 제거하고 상호운용성을 극대화함.