PEFT Adapter 내 데이터 메모라이제이션 탐지 및 79% 복구 차단 솔루션

NeuroImprint Detector: Audita adapters PEFT para detectar backdoors de privacidad en Federated Learning

Fenix2026년 6월 20일3분advanced

AI 요약

Context

Federated Learning 환경에서 서버가 악의적으로 PEFT Adapter를 오염시켜 클라이언트의 민감 데이터를 메모라이즈하는 NeuroImprint 공격 발생. 기존의 분산 학습 구조가 데이터 원본을 전송하지 않더라도 Adapter의 가중치 분석만으로 원본 데이터 복구가 가능하다는 취약점 노출.

Technical Solution

W₂ 가중치 내 동일 행 존재 여부 및 b₂ 바이어스의 퀀타일 간격 분석을 통한 Backdoor 구조 탐지
RaLU(Rank-1) 패턴 매칭을 통한 데이터 메모라이제이션 핑거프린트 식별
IQR 필터링 및 행 중앙값 산출을 통해 초기 가중치 없이 Backdoor 원본 가중치 추정
분석적 폐쇄 역산(Closed-form Analytical Inversion) 기법을 적용하여 그래디언트를 데이터 임베딩으로 변환
HF Tokenizer 기반의 임베딩-텍스트 매핑을 통한 복구 데이터의 가독성 확보
SGD 및 AdamW 옵티마이저 특성에 따른 복구 정밀도 차이를 고려한 분석 파이프라인 설계

실천 포인트

1. Federated Learning 도입 시 서버 신뢰 모델 외에 전송되는 Adapter 가중치에 대한 무결성 검증 단계 추가

2. SGD 대비 AdamW 등 모멘텀 기반 옵티마이저가 데이터 복구 정밀도를 낮추는 특성 검토

3. PEFT Adapter 배포 전 W₂ 및 b₂ 가중치의 통계적 이상치(Outlier) 및 반복 패턴 분석 수행

태그

#PEFT #Data Privacy #Federated Learning #Backdoor Detection #LoRA

원문 읽기