4B 파라미터로 8B 성능을 구현한 Local-First 보안 전문 LLM

Context

민감 데이터 유출 위험과 고비용, Air-gapped 환경의 제약으로 인해 클라우드 기반 Frontier Model 도입이 불가능한 보안 도메인의 특성 분석. 일반 범용 소형 모델은 전문성이 부족하며, 대형 모델은 단일 GPU 배포가 불가능한 Trade-off 존재.

Technical Solution

• Qwen3-4B-Instruct-2507 IT 체크포인트를 베이스로 활용하여 기존 Instruction-tuning의 정답 형식 유지 및 도메인 지식 주입
• MITRE/NVD의 CVE-CWE 매핑 데이터와 합성 Q&A 데이터셋을 활용한 Domain-specific Fine-tuning 수행
• CTI-Bench 평가 셋과의 중복을 제거한 Deduplication 공정을 통한 데이터 오염 방지 및 일반화 성능 확보
• AMD MI300X(192GB HBM3)와 ROCm 7 vLLM 스택을 통해 Quantization 없이 Full bf16 및 FlashAttention-2 적용
• 12GB 소비자용 GPU 배포를 목표로 파라미터 수를 4B로 최적화하여 배포 가능성과 추론 성능의 균형 달성

Impact

• Foundation-Sec-Instruct-8B 대비 파라미터 수는 50% 감소
• CTI-MCQ 지표에서 0.4996 대비 0.5868로 +8.7 pp 성능 향상
• CTI-RCM 정확도 97.3% 수준을 유지하며 8B 모델과 대등한 수준의 전문성 확보

Key Takeaway

특정 도메인의 좁고 깊은 Task에서는 모델의 절대적 크기보다 정교한 데이터 큐레이션과 Fine-tuning 전략이 효율적임을 증명. 특히 IT 체크포인트 기반의 추가 학습을 통해 Instruction-tuning 과정에서 손실된 Format binding 능력을 회복하는 설계 전략이 유효함.