Local LLM 기반 Privacy-First 음성 에이전트 설계 및 보안 샌드박스 구현

Context

클라우드 기반 AI 서비스의 데이터 프라이버시 침해 및 로그 기록 문제를 해결하기 위한 로컬 환경 전용 Voice Agent 설계 필요성 대두. 단순 LLM 연동을 넘어 음성 인식부터 시스템 실행까지 이어지는 신뢰 가능한 Local Pipeline 구축을 목표로 함.

Technical Solution

• Streamlit-mic-recorder를 통한 브라우저 기반 오디오 캡처 및 Byte Buffer 처리로 임시 파일 관리 오버헤드 제거
• static-ffmpeg를 통한 런타임 바이너리 주입 방식으로 Whisper 모델의 FFmpeg 의존성 설치 복잡도 해결
• Ollama(Llama 3.2/Phi-3) 기반 Reasoning Layer에 Pydantic Validation을 결합하여 비결정론적 LLM 출력을 구조화된 JSON 객체로 강제 변환
• Regex 기반 추출 유틸리티를 도입하여 LLM의 대화형 텍스트 노이즈를 제거하고 파싱 안정성 확보
• Path Scoping 기법과 os.path.abspath 검증을 통해 AI 생성 파일의 /output 디렉토리 내 격리를 구현한 Path Traversal 방어 체계 구축
• CUDA 미검출 시 FP32로 자동 전환하는 로직을 통해 하드웨어 가속기 부재 환경에서의 런타임 안정성 확보