피드로 돌아가기
Dev.toAI/ML
원문 읽기
7B 모델 메모리 64% 절감으로 T4 GPU 기반 QLoRA 파인튜닝 구현
QLoRA: Fine-Tuning a 7B Model on a 16GB GPU (It Shrank to 5.4GB in Front of Me)
AI 요약
Context
16-bit 정밀도의 7B 모델은 약 15GB의 VRAM을 점유하여 16GB T4 GPU 환경에서 학습 공간 확보가 불가능한 한계 존재. LoRA 적용 시에도 Frozen Base 모델의 메모리 점유율이 높아 하드웨어 제약으로 인한 모델 로드 실패 발생.
Technical Solution
- NF4(NormalFloat4) 양자화를 통한 Frozen Base 모델의 4-bit 저장으로 메모리 풋프린트 최소화
- Double Quantization 적용을 통해 양자화 상수까지 추가 양자화함으로써 메모리 효율 극대화
- Compute Dtype을 fp16으로 설정하여 저장 시에는 4-bit를 유지하되 연산 시에만 Dequantize 하는 정밀도 유지 전략 채택
- Paged AdamW 8-bit Optimizer 도입으로 메모리 스파이크 방지 및 학습 안정성 확보
- 모든 Linear Layer에 LoRA Adapter를 배치하여 모델 표현력 유지 및 학습 파라미터 최적화
- Gradient Checkpointing 활성화를 통한 메모리 사용량 절감 및 대형 모델 학습 가능 구조 설계
실천 포인트
- VRAM 부족 시 NF4 양자화와 Double Quantization 조합 검토 - 학습 속도 저하를 감수하더라도 모델 크기를 키워야 하는 경우 Paged Optimizer 및 Gradient Checkpointing 필수 적용 - LoRA 적용 시 특정 레이어가 아닌 모든 Linear Layer를 타겟팅하여 성능 손실 방지