Groq와 Gemini 조합으로 2.1초대 End-to-End Latency를 달성한 Voice AI Agent 설계

Context

자연스러운 Voice 인터페이스 구현을 위해 2초 미만의 Low Latency 달성이 필수적인 상황. 기존 Local Whisper 구동 시 발생하는 VRAM 제약과 추론 속도 저하라는 기술적 병목 지점 존재.

Technical Solution

• Local GPU 부하 제거 및 50-100배 빠른 추론 속도 확보를 위한 Groq LPU 기반 Whisper 모델 채택
• Intent Classification의 비용 효율성과 400ms 수준의 빠른 응답 속도를 위해 Gemini 2.5 Flash 도입
• High Reasoning이 필요한 write_code 태스크에 한해 Gemini 2.5 Pro를 호출하는 계층적 모델 라우팅 전략 적용
• Gradio의 Fire-and-Return 이벤트 모델 한계를 극복하기 위해 gr.State를 활용한 상태 유지 및 Human-in-the-Loop 승인 프로세스 설계
• 시스템 안정성 확보를 위한 safe_path() 기반 샌드박스 강제 및 API 30초 Timeout 설정 적용

Impact

• 전체 파이프라인 End-to-End Latency 약 2.1초 달성 (Groq Whisper <1s, Gemini Flash ~400ms, Tool Execution ~700ms)
• 파일 생성 및 코드 작성 등 파괴적 작업에 대한 사용자 확인 절차 구현을 통한 안정성 확보

Key Takeaway

사용자 경험(UX) 결정 요인인 Latency를 최소화하기 위해 Task의 복잡도에 따라 추론 모델을 분리 배치하는 하이브리드 LLM 오케스트레이션 설계의 중요성.