JSON Schema Tax 제거를 통한 Local LLM Tool Calling 안정성 확보

Why your local agent keeps dropping brackets (and how Hermes fixes it)

Gabe Dev2026년 5월 18일3분intermediate

AI 요약

Context

Local Hardware 기반 소규모 모델(8B, 32B)에서 방대한 JSON Schema를 System Prompt에 포함함에 따라 Context Window 낭비 및 VRAM 부족 현상 발생. 이로 인한 추론 집중도 저하와 JSON 구문 오류(Closing Brace 누락)로 인한 파서 크래시가 주요 병목 지점으로 작용.

Technical Solution

Prompt Layer의 JSON 강제 방식에서 Token Generation Layer의 Native Steering 방식으로 아키텍처 전환
Nous Hermes 모델의 Fine-tuning 특성을 활용한 XML Tag 기반의 구조적 토큰 시퀀스 제어
<scratchpad> 태그를 도입하여 모델의 내부 추론 과정과 Tool Execution 구문을 분리하는 State Isolation 구현
대규모 JSON Schema를 System Prompt에서 제거하여 모델의 Reasoning Attention을 최적화하는 Zero Prompt Bloat 설계
결정론적 스트리밍 상태를 유도하여 정규식 파서의 의존도를 낮춘 구조적 토큰 생성 체계 구축

실천 포인트

1. Local LLM 도입 시 System Prompt의 토큰 소모량을 측정하고 JSON Schema의 중복성 검토

2. 모델이 지원하는 Native XML/Special Token Schema 존재 여부 확인 및 적용

3. Reasoning 과정과 Action 구문을 물리적으로 분리하는 Scratchpad 패턴 도입 고려

4. 단순 프롬프트 엔지니어링보다 모델의 Weight Distribution에 최적화된 구조적 튜닝 활용

태그

#Context Window #Local-LLM #Token Steering #State Isolation #Tool Calling

원문 읽기