3-5개 LLM Linear Ensemble을 통한 Watermark 신호 제거 및 품질 27.5% 향상

Linear Ensembles Can Erase LLM Watermarks

Papers Mache2026년 6월 13일2분advanced

AI 요약

Context

LLM 출력물에 분포 섭동을 삽입하는 Watermarking 방식은 단일 모델 생성물에 대해서만 높은 검출 성능을 보임. 여러 모델 제공자의 출력을 혼합 사용하는 실제 애플리케이션 환경에서 Watermark 신호가 유지될 것이라는 기존 가설의 한계 발생.

독립적으로 학습된 3~5개 모델의 확률 분포를 단순 평균하는 Linear Ensemble 구조 설계
각 제공자별로 독립적으로 삽입된 섭동(Perturbation)이 평균화 과정에서 상쇄되어 원래의 Unwatermarked 분포로 회복되는 원리 이용
별도의 Fine-tuning 없이 Probability Averaging만으로 Watermark 신호를 제거하는 효율적 메커니즘 구현
서로 다른 아키텍처와 Tokenizer를 가진 이기종 모델 간 정렬을 위해 Vocabulary 정합성을 맞추는 WASH 파이프라인 도입
통계적 독립성을 가진 섭동들이 상쇄됨으로써 Z-score 검출 임계값 이하로 신호를 낮추는 전략 채택

실천 포인트

1. 다중 LLM API를 Aggregation 하는 서비스의 경우 기존 Watermark 기반 탐지 도구의 신뢰성 재검토

2. 모델 앙상블 도입 시 개별 모델의 보안 마킹이 상쇄되어 Attribution이 불가능해짐을 인지

3. 이기종 모델 결합 시 WASH와 같은 Vocabulary Alignment 레이어 설계 고려

태그