피드로 돌아가기
Dev.toAI/ML
원문 읽기
VRAM 8GB 제약 극복을 위한 Deterministic Pipeline 기반 Local Voice AI 설계
Voice Agent
AI 요약
Context
소비자용 하드웨어의 제한된 VRAM(6~8GB) 환경에서 대규모 LLM 기반의 ReAct 루프 사용 시 발생하는 불안정성 분석. 특히 10B 파라미터 미만 소형 모델의 Tool-calling Hallucination 및 무한 루프 진입 문제 해결이 핵심 과제임.
Technical Solution
- ReAct 루프를 대체하여 Structured Output 기반의 Deterministic Pipeline 구조 설계
- Pydantic Schema를 통한 Router LLM의 JSON 출력 강제 및 의도 매핑의 정확성 확보
- 파일 시스템 수정 작업에 대한 Human-In-The-Loop(HITL) 검증 레이어 도입으로 안정성 강화
- qwen2.5:7b(Router), qwen2.5-coder:7b(Code), llama3.1:8b(Text)로 역할을 분리한 Split-model 아키텍처 채택
- /output 디렉터리 격리 및 절대 경로 해소 로직을 통한 Path Traversal 보안 취약점 차단
- 오디오 페이로드의 Cryptographic Hashing 처리를 통한 UI 렌더링 주기와 실행 로직의 분리
실천 포인트
- 소형 모델 도입 시 생성 속도보다 Schema Adherence(스키마 준수율)를 우선 지표로 설정 - LLM의 직접적인 시스템 접근을 차단하고 검증된 인자값만 전달하는 Deterministic Executor 계층 설계 - Context Window 절약을 위해 전체 상태를 주입하는 대신 Task별 최적화된 모델로 Context Injection 분리
태그