Raspberry Pi 5와 소형 LLM 기반의 Off-grid Edge AI 구현

Context

거대 AI 모델의 과도한 에너지 소비 및 데이터 센터 의존성 문제를 해결하기 위한 대안적 접근 필요. 특정 도메인에 특화된 소형 모델을 통해 인터넷 연결과 외부 전원 없이 작동하는 독립적 추론 환경 구축을 목표로 함.

Technical Solution

• Raspberry Pi 5(8GB RAM) 기반의 하드웨어 구성과 전력 효율 극대화를 위한 DietPi OS 최적화 적용
• 전력 공급 안정화를 위한 Custom Capacitor Board 설계 및 20W Hand-crank 발전 유닛 연동
• 추론 속도 확보를 위해 Moonshine(ASR)과 Piper(TTS) 등 Low-resource Edge Inference 엔진 채택
• Liquid LFM2 1.2B 및 Gemma 3 1B 등 소형 LLM을 활용하여 특정 Task(번역, 일반 질의)에 최적화된 모델 스택 구성
• 의존성 최소화를 위해 외부 라이브러리를 배제하고 Scratch부터 구현한 전용 Voice Agent 아키텍처 설계
• 물리적 Knob 및 Switch를 통한 모델 스위칭 및 Prompt 제어 인터페이스 구현