Memory Mapping 기반 Layer Swapping으로 8GB RAM에서 70B 모델 구동

Context

LLaMA 70B와 같은 대규모 모델 구동을 위해 80GB 이상의 VRAM과 고가의 GPU 서버 인프라가 필수적이었던 하드웨어 제약 상황. 4-bit 양자화 적용 시에도 최소 35GB의 RAM이 요구되어 일반 소비자용 노트북에서의 실행이 불가능했던 구조적 한계.

Technical Solution

• 모델 전체를 RAM에 상주시키는 대신 필요한 부분만 로드하는 Layer-by-layer 로딩 방식 채택
• Memory Mapping 기술을 통한 가상 메모리 주소 공간 할당 및 디스크 데이터의 효율적 매핑
• Layer Swapping 매커니즘을 통해 현재 추론에 필요한 레이어만 RAM에 유지하고 사용 완료 후 즉시 교체하는 구조 설계
• 4-bit Quantization 적용으로 모델 파라미터의 정밀도를 낮춰 메모리 점유율 및 디스크 I/O 부하 최적화
• 전체 70B 파라미터의 지능은 유지하면서 메모리 피크 사용량을 8GB 수준으로 억제하는 런타임 제어 로직 구현