피드로 돌아가기
Dev.toAI/ML
원문 읽기
PEFT-Arena를 통한 PEFT 기법의 Stability-Plasticity 트레이드오프 분석
New Benchmark Reveals Hidden Trade-offs in AI Model Tuning Methods
AI 요약
Context
기존 PEFT 평가 방식이 Downstream Task 성능 위주의 Plasticity 측정에 치중하여 Pretrained Knowledge의 손실을 간과함. 이로 인해 실제 배포 환경에서 타겟 도메인 외 쿼리에 대한 모델 성능이 급격히 저하되는 현상이 발생함.
Technical Solution
- PEFT-Arena 벤치마크 도입을 통한 신규 작업 학습 능력과 일반 능력 유지 정도의 동시 측정
- Weight Space의 Spectral Analysis를 통한 파라미터화 선택지와 pretrained weight 구조 간의 상호작용 분석
- Activation Space 내 Representation의 기하학적 구조 추적을 통한 Catastrophic Forgetting의 원인 규명
- Non-isometric Distortion 정도와 능력 손실 간의 상관관계를 분석하여 기하학적 관점의 성능 저하 메커니즘 도출
- Orthogonal Finetuning을 통한 Stability와 Plasticity 간의 최적 Pareto Frontier 달성
- Post-hoc Path-wise Rewinding 기법을 적용하여 SFT 과정의 Overshooting 지점을 보정하고 이전 체크포인트로 복구
실천 포인트
- PEFT 방법론 선택 시 단순 정확도 외에 일반 능력 유지 지표를 포함한 벤치마크 검증 수행 - SFT 진행 시 학습 단계별 체크포인트를 저장하여 최적의 Stability-Plasticity 균형점 탐색 - 모델 붕괴 징후 포착 시 Post-hoc Rewinding을 통한 재학습 비용 최소화 및 성능 복구 검토 - Orthogonal Finetuning과 같이 Representation 왜곡을 최소화하는 기법의 우선 고려