Secure Learning Lab이 DecodingTrust 플랫폼을 통해 LLM의 독성, 편향, 적대적 견고성, OOD 견고성, 개인정보보호, 윤리, 공정성 등 8가지 관점에서 신뢰성을 평가하는 통합 벤치마크 체계 구축

Context

LLM의 광범위한 배포 이전에 다양한 시나리오에서 안전성과 위험을 이해해야 하며, 미국 백악관의 AI 안전 행정명령과 EU AI Act 규제에 따라 기술적 해결책이 필수적이다.

Technical Solution

• 8가지 신뢰성 관점에 대한 평가 프레임워크 구축: 독성(toxicity), 고정관념 편향(stereotype bias), 적대적 견고성(adversarial robustness), OOD 견고성, 적대적 시연(adversarial demonstrations) 견고성, 개인정보보호(privacy), 기계 윤리(machine ethics), 공정성(fairness)
• 각 평가 관점별 맞춤형 적색팀(red-teaming) 알고리즘 개발: 독성 평가는 33개 도전적 시스템 프롬프트 설계, 편향 평가는 24개 인구통계 그룹 및 16개 고정관념 주제 수집
• 다양한 적대적 공격 구성: 3개 오픈 모델(Alpaca, Vicuna, StableVicuna) 대상 5가지 적대적 공격 알고리즘 적용 및 5가지 다양한 태스크 평가
• 개인정보보호 평가를 3단계로 계층화: 사전학습 데이터 유출, 대화 중 유출, 개인정보보호 관련 단어 및 이벤트 이해도 평가
• HF leaderboard 템플릿 기반 LLM Safety Leaderboard 출시: 오픈 및 폐쇄형 모델의 신뢰성 기반 순위화

Key Takeaway

LLM 신뢰성 평가에는 단일 관점이 아닌 독성, 편향, 견고성, 개인정보보호, 윤리, 공정성 등 8가지 차원의 포괄적 평가가 필수이며, 각 관점별 맞춤형 적색팀 방법론을 통해 실제 배포 전 취약점을 체계적으로 파악할 수 있다.