피드로 돌아가기
InfoQAI/ML
원문 읽기
Apple Silicon 최적화 및 70B LLM 지원을 위한 Core AI 프레임워크 공개
Apple Launches Core AI for Apple-Silicon Optimized On-Device Generative AI
AI 요약
Context
기존 Core ML의 한계를 넘어 대규모 Generative AI의 온디바이스 실행 필요성 증대. 클라우드 의존성으로 인한 데이터 프라이버시 침해와 토큰 기반 비용 발생 문제 해결이 핵심 과제임.
Technical Solution
- CPU, GPU, Neural Engine을 단일 API로 통합 제어하는 Unified Hardware Access 구조 설계
- Zero-copy 데이터 패스와 세밀한 메모리 제어를 지원하는 Memory-safe Swift API 도입
- AOT(Ahead-of-Time) 컴파일 방식을 통한 런타임 부하 분산 및 모델 로딩 시간 최소화
- Quantization 및 Palettization 기법을 적용한 모델 압축 공정으로 하드웨어 실행 패턴 최적화
- 기기별 하드웨어 및 OS 버전에 맞춘 Automatic Specialization 및 모델 캐싱 메커니즘 구현
- PyTorch 모델의 Core AI IR 매핑을 위한 TorchConverter 및 Custom Metal Kernel 지원
실천 포인트
- Neural Network 및 Transformer 모델 구축 시 Core AI 프레임워크 우선 검토 - 초기 로딩 지연 해결을 위해 SpecializationOptions 및 AICacheModel을 활용한 캐싱 전략 수립 - 메모리 풋프린트와 추론 지연 시간 감소를 위한 Quantization 적용 여부 확인 - 비신경망 기반의 클래식 ML 작업은 기존 Core ML 활용 권장