Apple Silicon 가속 기반 3-Model Chain 구성을 통한 로컬 Voice AI 구현

Context

Ollama의 LLM 단일 처리 구조로 인한 오디오 입출력 기능 부재 및 모델 간 파이프라인 부재. 개별 모델 연동 시 발생하는 높은 Latency와 파편화된 설정 과정으로 인한 시스템 불안정성.

Technical Solution

• Parakeet v3, LLM, PocketTTS를 연결한 Sequential Pipeline 아키텍처 설계
• Apple Neural Engine 및 Metal GPU 가속을 활용한 On-device 추론 최적화
• LLM 응답 토큰의 실시간 TTS 스트리밍 처리를 통한 체감 대기 시간 단축
• ToolPiper를 통한 STT-LLM-TTS 백엔드 통합 및 Provider 기반 모델 관리
• Push-to-talk 방식을 채택하여 연속 리스닝으로 인한 입력 노이즈 및 리소스 낭비 방지

Impact

• 3B 모델 기준 Round-trip Latency 약 1.5s 달성 (STT 400ms, LLM TTFT 300ms, TTS 350ms)
• 모델 규모별 RAM 점유율 최적화 (3B: 3GB, 7B: 5.5GB, 13B: 9.5GB)
• 전 과정 On-device 처리로 데이터 외부 유출 없는 보안성 확보

Key Takeaway

멀티 모델 체인 구성 시 개별 모델의 성능보다 Stage 간 Handoff Latency 최적화가 사용자 경험(UX)의 핵심 요소임.