Mac 내장 LLM을 터미널과 API로 해방시킨 Apfel

Context

macOS 26부터 Apple Silicon Mac에 온디바이스 LLM 내장. FoundationModels 프레임워크를 통한 Swift 앱 기반 접근만 가능. 일반 사용자가 터미널이나 HTTP 통신으로 모델을 활용할 방법 부재.

Technical Solution

• [Apfel] → LanguageModelSession을 래핑한 Swift 6.3 바이너리 구현
• [인터페이스] → UNIX CLI, OpenAI 호환 HTTP 서버, 대화형 채팅 3가지 모드 제공
• [컨텍스트] → 4,096 토큰 제한 극복을 위한 5가지 트리밍 전략 적용
• [데이터 변환] → OpenAI 도구 스키마를 Apple 전용 Transcript.ToolDefinition 형식으로 변환
• [인프라] → Neural Engine 및 GPU를 활용한 로컬 추론 구조

Impact

• Context window: 4,096 tokens

Key Takeaway

제한된 API 인터페이스를 래퍼 레이어로 추상화하여 범용적인 표준 프로토콜(OpenAI API)로 확장하는 설계 방식.