피드로 돌아가기
Show GN: Ghostmeet - 셀프호스팅 AI 미팅 비서  (실시간 자막 + 요약, Chrome 확장)
GeekNewsGeekNews
Frontend

Show GN: Ghostmeet - 셀프호스팅 AI 미팅 비서 (실시간 자막 + 요약, Chrome 확장)

Ghostmeet이 Whisper + Claude API + Chrome Extension으로 브라우저 미팅의 오디오를 로컬에서만 처리해 외부 전송 없이 실시간 자막과 AI 요약 제공

swq1152026년 3월 28일1intermediate

Context

기존 미팅 자막 및 요약 서비스는 오디오 데이터를 외부 서버로 전송해야 하므로 개인정보 보호와 보안 우려가 있었습니다. 또한 구독 모델의 비용 부담이 있었습니다.

Technical Solution

  • Whisper를 로컬 환경에서 실행해 10초 주기로 오디오를 처리하고 자막 생성: 외부 API 호출 없이 Chrome 확장에서 직접 처리
  • Chrome Extension의 tabCapture API로 미팅 오디오 스트림을 캡처: Google Meet, Zoom, Teams 등 브라우저 기반 미팅 플랫폼 지원
  • Python + FastAPI 백엔드에서 Whisper 모델 호스팅: 로컬 서버로 배포되어 완전한 데이터 격리
  • Claude API를 선택적으로 활용해 핵심 결정사항과 액션 아이템을 자동 추출: 로컬 자막을 기반으로 요약 생성
  • Docker Compose로 전체 스택을 단일 명령어(docker compose up -d)로 배포 가능: 별도 계정이나 구독 불필요

Key Takeaway

브라우저 확장 + 로컬 AI 모델 + 경량 백엔드의 조합으로 외부 데이터 전송 없이 프라이버시를 보장하면서도 복잡한 기능을 제공할 수 있습니다.


민감한 오디오/비디오 데이터를 다루는 브라우저 기반 협업 도구 개발 시 tabCapture API로 로컬 캡처를 구현하고, 로컬 Whisper 배포로 전사 처리를 외부 의존 없이 수행하면 사용자 데이터 유출 위험을 제거하고 지연시간을 10초대로 유지할 수 있습니다.

원문 읽기