LLM을 의도 분류기로 제한하여 지연시간 100ms 미만 구현한 로컬 AI 에이전트 설계

Context

Raspberry Pi 기반 개인 서버 운영 시 SSH 접속의 불편함과 LLM 기반 챗봇의 높은 추론 지연시간 및 낮은 실행 정확도가 병목 지점으로 작용. 범용 AI 어시스턴트가 아닌 개인 서버 운영 최적화를 위한 Lightweight Operational Layer의 필요성 대두.

Technical Solution

• Deterministic-first 라우팅 계층 도입을 통한 LLM 호출 최소화 및 처리 속도 향상
• Semantic Layer 구축으로 다국어 입력값을 동일한 Skill Identifier로 정규화하여 모델 호출 전 단계에서 처리
• LLM의 역할을 권한 보유자가 아닌 Intent Classifier로 한정하고, 실제 실행 권한은 Go 언어로 작성된 Skill 내부의 Allowlist에서 제어하는 구조 설계
• Request-Response 방식에서 Polling 기반의 Monitoring Loop로 확장하여 탐지-알림-실행을 단일 Skill 경로로 통합
• Single-host 제약 해결을 위해 Node 기반 SSH Target 설정을 도입하고 Service Spec을 인터페이스화하여 다수 호스트 제어 구조 확보

Impact

• LLM 호출 경로 대비 Deterministic 경로 이용 시 응답 속도를 2~5초에서 100ms 미만으로 단축
• 모델의 Tool Name 오선택 확률 10~15%를 제거하여 실행 신뢰도 확보