Needle - Gemini 도구 호출을 증류한 2600만 파라미터 모델

Context

기존 LLM 기반 에이전트는 거대한 파라미터 규모로 인해 추론 비용과 지연 시간이 높음. 특히 단순한 도구 호출 작업에서도 전체 모델의 지식 베이스를 활용하는 구조적 낭비가 발생함.

Technical Solution

• Gemini 모델의 도구 호출 능력을 증류하여 0.026B(26M) 규모의 초경량 모델 설계
• INT4 양자화 적용을 통한 모델 크기 14MB 수준의 극단적 최적화 달성
• 외부 지식 소스 의존 시 MLP(Feed-Forward Network) 제거 가능성에 기반한 연산 효율화
• 단순 파싱 및 도구 선택에 집중하여 추론 오버헤드를 최소화한 엣지 모델 지향 구조
• 반복적인 LLM 루프 대신 결정적 코드 연결을 통한 도구 호출 체인 구성 제안
• WebGPU 및 VPS 배포가 용이한 저사양 인프라 최적화 아키텍처 채택