피드로 돌아가기
Function Calling Harness, turning success rate from 6.75% to 100%
GeekNewsGeekNews
AI/ML

Function Calling 성공률 6.75% → 100% 개선한 하네스 엔지니어링 기법

Function Calling Harness, turning success rate from 6.75% to 100%

autobe2026년 4월 1일1advanced

Context

기존 Qwen 모델은 재귀적 union 타입에서 Function Calling 실패율이 높았다. qwen3-coder-next는 첫 시도 성공률 6.75%, Qwen 3.5 전 모델군은 double-stringify 버그로 0%를 기록했다.

Technical Solution

  • 재귀적 union 타입 처리 → 하네스 엔지니어링으로 Function Calling 안정화
  • AutoBe → LLM이 AST 구조체를 채우면 컴파일러가 코드를 생성하는 구조
  • 4단계 컴파일러 검증 + 자가 수복 루프를 통한 오류 자동 교정
  • Typia → TypeScript 타입에서 JSON Schema와 파서를 컴파일 타임에 자동 생성
  • 깨진 JSON 복구와 타입 강제 변환을 검증기가 처리

Impact

Function Calling 첫 시도 성공률이 6.75%에서 100%로 달성

Key Takeaway

결정론적 검증기가 존재하는 환경에서 AI 출력을 반복 교정하면 확률론적 모델도 결정론적 정확도에 수렴할 수 있다.


LLM 기반 개발 환경에서 Function Calling 정확도를 확보하려면 컴파일러 기반 검증 + 자가 수복 루프를 적용 시 불안정성을 제거할 수 있다

원문 읽기