Forge - 가드레일로 8B 모델을 에이전트 작업에서 53%에서 99%로 끌어올리는 도구

Context

로컬 LLM 기반 에이전트 구현 시 모델 체급 한계로 인한 Tool Call 정확도 저하와 Context Drift 발생. 특히 서빙 백엔드 설정에 따라 동일 모델에서도 성능 편차가 크게 나타나는 불안정성 존재.

Technical Solution

• Tool Call 실행 단계의 세분화를 통한 입력 파라미터 단위 검증 로직 도입
• 검증 실패 시 대화 기록을 되감고 실패 원인을 주입하는 Re-try Loop 구조 설계
• 모델의 자기 수정 능력을 활용한 Error Mode 회피 및 성공 기준 기반의 명시적 목표 관리
• Context Window 내 유효 주의력 유지를 위한 지능적 메시지 기록 접기(Folding) 적용
• 단순 모델 호출이 아닌 계획 수립, 실행, 검증, 재계획으로 이어지는 하네스 계층 구축

Impact

• 8B 규모 소형 모델의 에이전트 작업 성공률 53%에서 99%로 향상
• Mistral-Nemo 12B 모델 기준 서빙 백엔드 최적화를 통해 도구 호출 정확도 대폭 개선
• 50~60회의 연속적인 Tool Call 수행으로 복잡한 리팩터링 작업 완수 가능

Key Takeaway

모델 자체의 추론 능력보다 실행 환경의 가드레일과 피드백 루프 설계가 소형 모델의 실무 적용 가능성을 결정함.