피드로 돌아가기
Dev.toAI/ML
원문 읽기
Rust 기반 CPU 전용 로컬 STT 마이크로서비스 Aximo 구현
Aximo — a local Rust STT API for CPU-only inference
AI 요약
Context
Cloud API 및 외부 SaaS 의존성을 제거한 완전한 Local STT 환경 구축 필요성 대두. 백엔드 서비스와 동일한 방식으로 배포 가능한 독립적인 마이크로서비스 구조 설계 요구.
Technical Solution
- CPU-only inference 환경 구현을 위한 Rust 언어 채택 및 Parakeet v3 모델 통합
- 실시간 전사 처리를 위한 WebSocket 레이어와 일반 요청 대응용 HTTP API의 이원화 설계
- 코드 유지보수성 및 모듈성 확보를 위한 Multi-crate Workspace 레이아웃 적용
- 컨테이너 기반 배포 및 표준 인터페이스 제공을 위한 Docker와 OpenAPI 도입
- 개발 주기 단축을 위해 마이크로폰 녹음 및 즉시 전송 기능이 추가된 확장 Swagger UI 구축
실천 포인트
1. CPU 환경의 AI 모델 서빙 시 Rust와 같은 고성능 언어로 런타임 오버헤드 최소화 검토
2. 실시간 데이터 스트리밍(WebSocket)과 REST API의 하이브리드 인터페이스 설계 적용
3. AI 모델 테스트 효율을 높이기 위한 API 문서(Swagger) 내 직접 입력 인터페이스 확장 고려