멀티모달 데이터 통합으로 버그 분석 시간을 2분 이내로 단축한 BugCapture

How I Built BugCapture — From Screen Recording to AI-Ready Bug Report in One Click

Machina Tools2026년 6월 21일4분intermediate

AI 요약

Context

버그 재현 과정의 텍스트 설명 시 발생하는 모호함과 시간 소모가 AI 에이전트의 분석 효율을 저하시키는 병목 지점으로 작용. 단순 스크린샷이나 로그 단일 소스만으로는 개발자의 의도와 런타임 상태를 동시에 파악하기 어려운 한계 존재.

시각적 상태, 개발자 의도, 런타임 로그를 결합한 3-Channel 데이터 패키징 설계로 AI 이해도 극대화
Web MediaRecorder API를 활용한 로컬 기반의 오디오 및 비디오 스트림 동시 캡처 구조 채택
ffmpeg 기반의 주기적 Frame Extraction(3초 간격, JPEG 85% 품질)을 통한 시각적 시퀀스 데이터 생성
@xenova/transformers 및 Whisper ONNX 모델을 이용한 로컬 Transcription 구현으로 데이터 외부 유출 방지 및 지연 시간 최소화
SSH2 라이브러리를 통한 원격 서버 로그의 실시간 Tail링 및 타임스탬프 기반 동기화 매핑
최종 결과물을 Base64 이미지와 텍스트가 포함된 Markdown 파일로 단일화하여 LLM Context Window 최적화

실천 포인트

1. AI 입력 데이터 설계 시 단일 소스가 아닌 상호 보완적인 멀티모달 데이터셋 구성 검토

2. 보안 및 속도 향상을 위해 Whisper ONNX 등 로컬 추론 모델의 에지 적용 가능성 확인

3. LLM 전달용 데이터 포맷으로 구조화된 Markdown과 Base64 임베딩 조합의 효율성 검증

태그