1-bit Bonsai - 상업적으로 실용 가능한 최초의 1비트 LLM
1-bit Bonsai LLM이 8B 모델을 1.15GB로 압축하여 범용 하드웨어에서 190t/s 추론 속도를 달성함
Falcon-Edge 팀이 BitNet 아키텍처 기반 1.58비트 양자화 모델을 단일 사전학습으로 bfloat16과 양자화 변형을 동시에 생성해 에지 배포 용이성 확보
Falcon-Edge: A series of powerful, universal, fine-tunable 1.58bit language models.
Microsoft Research의 BitNet 아키텍처를 파인튜닝으로 적용해 기존 Llama3 8B 모델을 1.58비트 극단 양자화 모델로 변환하고 MMLU 벤치마크에서 Llama 1 7B를 초과하는 성능 달성
Fine-tuning LLMs to 1.58bit: extreme quantization made easy