Gemma 4 E4B 기반 Local-first 멀티모달 음성 노트 시스템 구축

Context

기존의 음성 메모 시스템은 ASR과 LLM을 분리한 2단계 파이프라인 구조로 인해 높은 지연 시간과 모델 중복 로드 문제를 가짐. 텍스트 변환 과정에서 음성의 휴지기나 뉘앙스 같은 비언어적 맥락이 소실되는 데이터 손실 한계가 존재함.

Technical Solution

• Single Forward Pass 구조를 통한 Audio-to-Text 직접 변환으로 ASR-LLM 간의 HTTP 라운드트립 및 메모리 오버헤드 제거
• Gemma 4 E4B 모델 채택을 통한 16GB RAM 환경 내 Audio/Vision/Reasoning 기능의 단일 모델 통합 운용
• Audio-Vision 멀티모달 입력을 하나의 Multipart Request로 처리하여 이미지 캡션의 상황적 맥락(Groundedness) 확보
• Recording Queue 도입을 통한 녹음 프로세스와 구조화 프로세스의 Decoupling으로 사용자 체감 응답 속도 최적화
• Local-first 설계를 통한 Loopback 인터페이스 기반의 완전한 데이터 프라이버시 및 오프라인 가용성 구현
• Tauri 2 및 Rust 기반의 Shared Core 설계를 통한 Menu-bar App과 CLI 간의 로직 재사용성 극대화