Local-First 설계로 프라이버시와 저지연을 구현한 AI Voice Agent

Context

기존 클라우드 의존적 AI 도구의 데이터 프라이버시 침해와 높은 Latency 문제 분석. 로컬 환경에서 동작하는 경량화된 Voice-to-Action 시스템 구축을 통한 데이터 외부 유출 원천 차단 설계.

Technical Solution

• Docker 기반 서비스 격리를 통한 각 컴포넌트의 독립적 배포 및 실행 환경 신뢰성 확보
• FastAPI와 Faster-Whisper를 조합한 전용 STT 서비스 구축으로 오디오-텍스트 변환 파이프라인 최적화
• Ollama를 활용한 Local LLM 기반의 Intent Detection 및 Code Generation 계층 설계
• Session State와 Hash 기반의 중복 처리 방지 로직을 도입하여 Streamlit의 Rerun으로 인한 UI Hang 현상 해결
• Path Traversal 방지를 위한 Safe Execution Boundary 설정 및 전용 출력 디렉터리 제한을 통한 시스템 보안 강화
• SQLite 기반의 Persistent Memory와 JSONL 형태의 Audit Log를 구축하여 액션 이력 관리 및 연속성 유지