INT8 양자화를 통한 메모리 2배 절감 및 연산 에너지 18~30배 효율화

Context

FP16 기반의 고정밀도 모델은 파라미터당 2바이트의 메모리를 소모하여 하드웨어 자원 제약을 유발함. 특히 LLM Decoding과 같은 Memory-bandwidth-bound 워크로드에서 데이터 이동 오버헤드로 인한 성능 병목 현상이 발생함.

Technical Solution

• Scaling 및 Shifting 로직을 통한 Floating-point 값의 Integer Grid 매핑 구조 설계
• Fake Quantization 기법을 통한 FP 기반의 Quantization-Dequantization 시뮬레이션으로 QAT 가능성 확보
• MAC Unit 최적화를 위해 Weight와 Activation을 저정밀도로 연산한 뒤 Accumulator에서 고정밀도로 합산하는 구조 채택
• Requantization Scale(M) 도입을 통해 Int32 Accumulator 결과를 다음 레이어의 양자화 범위로 변환
• 정밀도 손실 최소화를 위한 Symmetric/Asymmetric 및 Per-channel/Per-block 양자화 전략 적용
• Requantization 단계의 Floating-point 연산을 Fixed-point arithmetic(Integer multiply & Bit shift)로 대체하여 전체 파이프라인의 Integer-only 구현