Hugging Face PEFT가 LoRA 어댑터 병합을 위해 Concatenation, Linear/Task Arithmetic, DARE, TIES 4가지 방식을 추가해 메모리 효율적인 온더플라이 병합 지원

Context

기존 모델 병합은 체크포인트를 다운로드한 후 병합하는 방식으로 메모리 집약적이었다. 같은 기본 모델에서 얻은 여러 LoRA 어댑터를 실험적으로 조합할 때, 메모리 제약 속에서 다양한 병합 알고리즘을 즉시 시험하기 어려웠다.

Technical Solution

• Concatenation (cat) 방식: LoRA 행렬(A, B)을 가중치와 스케일링 계수를 곱한 후 차원 0과 1에 따라 연결하여 원본 어댑터들의 가중 병합과 동일한 출력 생성
• Linear/Task Arithmetic (linear) 방식: A와 B 행렬의 가중합을 계산하는 방식으로 구현하되, 모든 참여 LoRA 어댑터가 동일한 rank를 가져야 함
• DARE 방식: 고밀도(high density) 설정으로 스타일 어댑터 조합 시 성능 향상
• TIES 방식: majority_sign_method="frequency" 옵션으로 스타일 어댑터 조합 시 최적 성능 제공
• 온더플라이 병합: 어댑터 활성화/비활성화 시 메모리 내에서 실시간으로 병합 수행

Key Takeaway

다양한 파라미터 효율 기법(LoRA, IA3 등) 간 병합 요구사항이 다르므로, 각 어댑터 타입에 최적화된 별도의 병합 알고리즘이 필요하다. 메모리 제약 환경에서는 체크포인트 다운로드 기반 병합 대신 온더플라이 방식이 사용자 경험을 향상시킨다.