3B 모델의 한계를 Constrained Decoding으로 극복한 On-Device 추론 엔진

Context

제한된 4,096 Token Context Window와 소규모 파라미터로 인한 일반 Chatbot 성능 저하 문제 발생. 범용 텍스트 생성 시 발생하는 낮은 응답 품질과 Hallucination을 해결하기 위한 특화된 추론 방식 필요.

Technical Solution

• @Generable 매크로 기반의 Swift Struct 스키마 정의를 통한 강제적 출력 구조 설계
• Constrained Decoding 기법을 적용하여 스키마를 위반하는 Token 생성을 물리적으로 차단하는 메커니즘 구현
• @Guide 어노테이션을 활용한 Enum 기반의 유효 값 제한으로 데이터 정합성 확보
• Neural Engine 최적화를 통한 CPU 부하 최소화 및 저전력 On-Device Inference 환경 구축
• Tool Calling 시 @Generable 구조체를 활용하여 파라미터 누락 및 타입 오류가 없는 Type-safe Invocation 달성
• Task 성격에 따른 직접 응답과 Tool 호출 경로를 구분하는 판단 로직 내장