피드로 돌아가기
Dev.toAI/ML
원문 읽기
CPU 전용 ONNX Runtime 기반의 Local AI 구현으로 프라이버시 확보 및 구독 모델 제거
How I built on-device AI background removal in a native Windows app
AI 요약
Context
기존 Background Removal 도구의 Server-side 추론 방식에 따른 민감 데이터 유출 위험 식별. GPU 가속 기반 배포 시 하드웨어 파편화로 인한 Runtime Error 및 메모리 부족 현상 발생.
Technical Solution
- BiRefNet 오픈 모델을 기반으로 한 100% On-device 추론 아키텍처 설계
- 하드웨어 호환성 극대화를 위해 DirectML GPU 가속을 제거하고 CPU-only ONNX Runtime 채택
- 사용자 RAM 용량에 따라 모델 변체(Variant)를 동적으로 다운로드하는 Adaptive Model Loading 로직 구현
- 첫 실행 시 약 890MB의 모델 파일을 로컬에 캐싱하여 네트워크 의존성 제거 및 Offline 동작 보장
- 서버 인프라 비용 제거를 통한 구독형 모델에서 단발성 구매 모델로의 비즈니스 구조 전환
실천 포인트
1. AI 모델 배포 전 타겟 유저의 하드웨어 최소 사양(RAM, GPU 드라이버) 전수 조사
2. 하드웨어 파편화가 심한 환경에서는 GPU Fallback보다 CPU-only 기반의 안정적 baseline 우선 구축
3. 대용량 모델 파일의 경우 번들링보다 설치 후 조건부 다운로드 방식을 통해 설치 파일 크기 최적화