Whisper와 CUDA로 구현하는 초저지연 로컬 STT 시스템

Context

로컬 AI 컴패니언 구현 시 실시간 음성 인식의 부재로 인한 생동감 저하 문제 발생. 최신 GPU 환경에서 Stable PyTorch 빌드의 CUDA 커널 호환성 문제로 인한 임포트 오류 직면.

Technical Solution

• CUDA 12.8 기반 PyTorch Nightly 빌드 설치를 통한 최신 GPU 하드웨어 가속 호환성 확보
• Whisper large 모델과 CUDA 가속 및 fp16 정밀도 설정을 통한 전사 속도와 정확도 동시 최적화
• LivinGrimoire의 스킬 기반 아키텍처를 활용하여 STT 기능을 독립적인 모듈로 분리 설계
• Background Thread 기반의 비동기 처리 방식으로 STT 작업 중에도 AI의 메인 사고 루프가 중단되지 않는 Non-blocking 구조 구현
• 마이크 캘리브레이션을 통한 동적 Silence Threshold 설정으로 불필요한 오디오 입력 필터링
• PyAudio 스트림과 Queue를 이용한 실시간 오디오 청취 및 전사 데이터 전달 파이프라인 구축

Key Takeaway

AI 에이전트의 사용자 경험을 위해 무거운 추론 작업은 메인 루프와 완전히 분리된 비동기 스킬 레이어에서 처리하는 설계 원칙이 중요함.