Always-on의 함정, 수동 제어로 AI 응답 정확도 85% 달성

Context

실시간 인터뷰 보조 도구의 Always-on 전사 방식은 방대한 노이즈를 포함함. Whisper 모델이 불필요한 배경음과 일상 대화를 모두 처리하며 전사 오류를 누적시킴. GPT-4가 오염된 컨텍스트를 참조하여 질문과 무관한 응답을 생성하는 결과 초래.

Technical Solution

• 전체 오디오 스트림 대신 사용자가 직접 정의한 구간만 캡처하는 수동 녹음 방식 채택
• 질문 당 15~60초 내외의 정제된 오디오 데이터만 추출하여 Signal-to-Noise Ratio 극대화
• 불필요한 전사 아티팩트 제거를 통해 GPT-4에 전달되는 입력 데이터의 순도 및 정밀도 향상
• Chrome Extension 기반으로 Google Meet, Zoom, Microsoft Teams 등 브라우저 탭 내 오디오 인터페이스 통합
• 시각적 프롬프트 처리를 위한 스크린샷 캡처 기능 추가로 텍스트 외 컨텍스트 보완

Impact

• 수동 녹음 방식 적용 시 AI 응답의 관련성 및 활용 가능성 85% 달성
• Always-on 방식의 응답 관련성 60% 대비 약 25%p 성능 향상

Key Takeaway

무조건적인 데이터 양의 확대보다 고품질의 정제된 데이터셋을 입력하는 것이 LLM 응답 정확도 향상의 핵심 설계 원칙임.