Darkbloom – 유휴 Mac을 활용한 개인용 AI 추론 네트워크

Context

고비용의 GPU 인프라 의존도를 낮추기 위해 유휴 Mac의 Apple Silicon 통합 메모리를 추론 자원으로 활용하는 분산 네트워크 모델임. 중앙 집중식 하이퍼스케일러의 과잉 프로비저닝 비용 문제와 초기 하드웨어 투자 장벽을 해결하고자 함.

Technical Solution

• Unified Memory 아키텍처를 통한 LLM 가중치 로드 및 추론 효율성 확보
• MDM(Mobile Device Management) 기반의 원격 노드 제어 및 소프트웨어 배포 자동화
• Hypervisor Page Table 기법을 적용하여 RDMA로부터 GPU 메모리 영역 보호 시도
• TEE(Trusted Execution Environment) 개념을 도입하여 분산 노드 내 모델 및 코드 무결성 검증
• 양면 시장(Two-sided Marketplace) 구조를 통한 추론 수요와 공급의 동적 매칭
• 모델 양자화(Quantization)를 통한 하드웨어 제약 사항 극복 및 추론 속도 최적화