Jetson Orin Nano 8GB 기반 Gemma 4 VLA의 Local-first 최적화 구현

Context

기존 Local Voice Assistant는 Vision 처리를 위해 모든 프레임을 분석하거나 특정 키워드에 의존하는 Hardcoded 방식의 한계를 가짐. 이는 Edge 디바이스의 한정된 Compute 자원 낭비와 사용자 경험 저하를 유발함.

Technical Solution

• llama-server, mmproj, --jinja 설정을 통한 Native Tool Calling 구조 설계로 모델이 필요 시에만 Vision Tool을 호출하는 에이전트 기반 제어 구현
• GGUF 포맷의 Q4_K_M Quantization 적용을 통한 8GB RAM 환경의 메모리 Footprint 최적화 및 추론 가능성 확보
• Parakeet STT, Gemma 4 VLM, Kokoro ONNX TTS를 분리한 Modular Pipeline 설계를 통해 각 컴포넌트의 독립적 교체 및 디버깅 효율 증대
• mmproj를 통한 Image Embedding의 모델 표현 공간 매핑으로 텍스트와 시각 정보의 통합 처리 수행
• Flash Attention 활성화를 통한 추론 Latency 감소 및 Edge 환경의 처리 속도 개선

Key Takeaway

제한된 자원의 Edge 디바이스에서 VLA 시스템 구축 시, 모든 데이터를 처리하는 대신 모델에게 Tool 호출 권한을 부여하는 'Action-driven' 설계가 자원 효율성과 지능적 동작을 동시에 확보하는 핵심 전략임.