Flash-MoE - 노트북에서 3,970억 파라미터 모델을 실행

Context

397억 파라미터 규모의 대형 언어 모델은 일반적으로 고성능 서버 하드웨어를 필요로 하며, 개인용 노트북에서 실행하기 위해서는 극단적인 최적화가 필요했다.

Technical Solution

• 2-bit 양자화 적용: 모델의 가중치를 2비트로 압축하여 메모리 요구량 감소
• 전문가 수 감축: Mixture of Experts(MoE) 구조에서 토큰당 전문가 수를 10명에서 4명으로 줄임
• Metal 기반 최적화: C, Objective-C, 손으로 작성한 Metal 셰이더를 사용한 저수준 성능 최적화
• 시스템 메모리 기반 로딩: 전문가 가중치를 SSD 및 시스템 메모리에서 동적으로 로드
• JSON 출력 제약: 도구 호출 안정성을 위해 JSON 토큰 샘플링 제한(실제 구현 시도되었으나 제한적 성공)

Impact

• M1 Ultra에서 256k 컨텍스트 유지하며 약 20 tok/s 추론 속도 달성
• 128GB 메모리 장치에서 실행 가능
• MMLU 87.86%, GPQA Diamond 82.32%, GSM8K 86.43%, IFEval 75.90% 벤치마크 성능 기록
• 평균 IO 대역폭 2970MB/s로 SSD 제약 조건 내에서 운영(이론적 최대값 8GB/s 기준)

Key Takeaway

소비자용 노트북에서 초대형 모델 실행은 기술적으로 가능하나, 2-bit 양자화와 MoE 전문가 수 감축은 원본 모델의 능력을 크게 손상시키므로 실무용 긴 컨텍스트 작업에는 부적합하다. 단순 mmap 접근의 페이지 단위 오버헤드 제거와 비동기 IO 병렬화가 추가 성능 개선의 핵심이다.