LPU 기반 Groq 도입으로 전사 비용 18배 절감 및 지연시간 5배 개선

Context

실시간 음성 받아쓰기 서비스 구축을 위한 저지연 Transcription API 선정 과정 분석. 기존 GPU 기반 추론 인프라는 높은 Latency와 비용 부담으로 인해 실시간 사용자 경험 제공에 한계 존재.

Technical Solution

• LPU(Language Processing Unit) 하드웨어 채택을 통한 Time-to-First-Token 획기적 단축
• 동일한 Whisper large-v3 모델 기반의 API 인터페이스 통합으로 구현 복잡도 최소화
• REST API의 비스트리밍 한계를 극복하기 위한 5초 단위 Audio Chunking 전략 적용
• Groq를 Primary Backend로 설정하고 OpenAI를 Fallback으로 구성한 하이브리드 아키텍처 설계
• 기술 전문 용어 인식률 보완을 위한 특정 도메인 데이터 처리 로직 검토

Impact

• Latency: 5초 클립 기준 750ms(OpenAI)에서 180ms(Groq)로 약 4.2배 개선
• Cost: 시간당 $0.36에서 $0.02로 비용 18배 절감
• UX: 전체 Transcription 지연 시간을 실시간 대비 약 5.2초 수준으로 최적화

Key Takeaway

동일 모델이라도 추론 가속기(LPU vs GPU)의 하드웨어 계층 차이가 시스템 전체의 Latency와 운영 비용에 결정적 영향을 미침