Jetson Orin Nano 8GB 기반 Gemma 4 VLA 로컬 추론 시스템 구현

Context

제한된 Edge Device 메모리 환경에서 LLM의 추론 능력과 Vision 기능을 결합한 VLA(Vision-Language-Action) 구현 필요성 대두. 기존의 단순 키워드 트리거 방식이 아닌 모델 스스로 판단하는 자율적 도구 호출 구조 설계 요구.

Technical Solution

• llama.cpp Native Build를 통한 CUDA 가속 최적화 및 Vision Projector 직접 제어 구조 설계
• Q4_K_M Quantization 적용을 통한 8GB RAM 제약 조건 내 모델 로딩 및 추론 효율 확보
• jinja 템플릿 기반 Native Tool-calling 활성화로 외부 Vision 센서 호출 여부를 결정하는 자율적 Decision Logic 구현
• Swap File 8GB 할당 및 불필요한 백그라운드 프로세스 제거를 통한 OOM(Out of Memory) 방지 전략 채택
• Parakeet STT와 Kokoro TTS를 파이프라인으로 연결한 Full-stack 로컬 인터랙션 루프 구성
• -ngl 99 플래그 설정을 통해 모든 모델 레이어를 GPU로 오프로드하여 추론 지연 시간 최소화