#1-bit_llm

1-bit Bonsai - 상업적으로 실용 가능한 최초의 1비트 LLM

1-bit Bonsai LLM이 8B 모델을 1.15GB로 압축하여 범용 하드웨어에서 190t/s 추론 속도를 달성함