서버리스 On-device AI 구현으로 데이터 보안과 94% 정확도 동시 달성

Context

기업용 모바일 앱의 데이터 보안 요구사항으로 인해 CISO 수준의 엄격한 On-device AI 구현 필요성 증대. 기존 Cloud 기반 AI 아키텍처의 데이터 유출 리스크와 네트워크 의존성 해결을 위한 로컬 추론 구조 설계 요구.

Technical Solution

• Llama 3, Phi-4, Whisper 등 Open-source 모델의 로컬 최적화를 통한 서버리스 추론 환경 구축
• Core ML, QNN, MNN 등 하드웨어 가속 프레임워크를 활용하여 NPU 성능을 극대화한 추론 엔진 설계
• CPU inference fallback 메커니즘 적용으로 NPU 미지원 구형 기기에서도 서비스 연속성 보장
• 500MB 이하의 로컬 Knowledge Base를 활용한 On-device RAG 패턴 구현으로 데이터 외부 유출 차단
• React Native 단일 코드베이스에서 iOS(A15+), Android(Snapdragon 8 Gen 1+) 하드웨어 매트릭스 통합 대응
• Context Window를 4,000~8,000 토큰으로 제한하여 모바일 디바이스의 메모리 제약 사항 최적화