Gemma 4 기반 Offline Vision AI를 통한 8초 내 화이트보드 구조화 자동화

Context

화이트보드 기록의 디지털 전환 과정에서 발생하는 데이터 휘발성과 수동 정리의 비효율성 존재. 특히 기업 내부의 민감한 로드맵 및 기밀 정보가 포함된 데이터의 Cloud API 전송에 따른 보안 제약 사항이 주요 병목 지점으로 작용.

Technical Solution

• Gemma 4 E4B 모델의 Native Vision 기능을 활용한 이미지 내 텍스트 및 시각적 단서(원, 상자 등) 기반의 구조적 데이터 추출 설계
• Ollama REST API를 통한 모델 서빙으로 SDK 의존성을 제거하고 로컬 환경 내 독립적인 추론 파이프라인 구축
• Temperature 값을 0.2로 낮게 설정하여 모델의 Hallucination을 억제하고 추출 데이터의 Grounding 정밀도 향상
• Google AI Edge Gallery의 Agent Mode를 활용하여 run_js 도구 호출 및 JSON 데이터 전달을 통한 On-device 렌더링 구현
• FastAPI 기반의 Backend와 Dark-mode UI의 Frontend를 분리하여 JSON, Markdown, CSV 등 다각적 Export 인터페이스 제공

Impact

• 소비자용 하드웨어 기반의 로컬 환경에서 이미지 분석부터 액션 아이템 도출까지 약 8초 내 처리 완료
• 8B Parameter 규모의 Multimodal 모델을 통해 인터넷 연결 없는 완전한 Offline 상태에서 실시간 추론 구현

Key Takeaway

Enterprise AI 설계 시 보안 요구사항 충족을 위해 Cloud API 대신 On-device LLM을 채택함으로써 데이터 프라이버시와 실시간성을 동시에 확보하는 아키텍처 전환의 가능성 증명.