Apple이 Swift Transformers 라이브러리를 공개해 Llama 2, Falcon 7B 등 LLM을 iOS/macOS 기기에서 Core ML로 실행 가능하게 함

Context

Swift 개발자들이 LLM을 앱에 통합하고 싶어도 PyTorch에서 Core ML로의 모델 변환, 토크나이제이션, 텍스트 생성 알고리즘 구현 등 여러 작업을 개별적으로 해결해야 했다. 특히 모델 변환 시 PyTorch 연산자의 타입 불일치(예: int와 float 섞임), 부분 지원되는 연산(einsum 등), 엣지 케이스로 인한 번역 실패 등의 장애물이 존재했다.

Technical Solution

• swift-transformers 라이브러리 릴리스: Transformers API를 Swift에서 구현한 인프-개발 패키지로, Hub 통합, 임의의 토크나이저 지원, 플러그인 방식 모델 지원
• Core ML 모델 변환 도구 업데이트: exporters(PyTorch→Core ML 변환 라이브러리)와 transformers-to-coreml(코드 불필요 변환 도구) 버전 업데이트로 변환 프로세스 개선
• 사전 변환된 모델 제공: Llama 2 7B, Falcon 7B 등 텍스트 생성 도구와 호환되는 Core ML 형식 모델 사전 배포
• LanguageModel 추상화 계층 도입: 모델 설정을 하드코딩하지 않고 Hub에서 모델/토크나이저 설정 파일을 다운로드하는 유틸리티 제공
• 복합 연산 및 엣지 케이스 처리: coremltools 패치, 특수 연산(special operations) 지원으로 타입 불일치나 미지원 연산 문제 해결 예시 제공

Key Takeaway

Apple 기기에서 온디바이스 LLM 실행은 단순 모델 변환을 넘어 토크나이제이션, 세대 알고리즘, 메모리 최적화를 아우르는 통합 솔루션이 필요하며, 개발자 커뮤니티와 함께 도구 생태계를 구축하는 것이 채택의 핵심이다.