인간 동력 기반의 Off-grid Local LLM 구동 시스템 설계

Context

Cloud AI의 에너지 소모 증가와 데이터 프라이버시 침해 문제를 해결하기 위한 Local AI 환경 필요성 증대. 기존 인프라 의존성을 제거하고 전력 공급원을 사용자 물리 에너지로 대체하는 초소형 Local AI 아키텍처 지향.

Technical Solution

• 전력 공급원: 수동 크랭크 및 페달 구동 Dynamo를 통한 직접적인 전기 에너지 생성 구조
• 하드웨어 최적화: Raspberry Pi 5 기반의 경량 모델 구동 환경 구축으로 전력 소비 최소화
• 프라이버시 계층: 데이터 외부 전송을 완전히 차단한 On-device 처리 구조 설계
• 모델 스케일링: 사용 규모에 따라 수동 크랭크(가정용), 페달 구동(기업용), 피트니스 센터 협업(워크플로용)으로 에너지-모델 성능 매칭
• 부팅 최적화: ONNX Runtime 및 Python import 시 발생하는 SD 카드 Random Read 병목을 해결하기 위한 파일 시스템 배치 최적화 전략 검토