AI Safety는 정의 불가능한 인간 피해를 계산하려 하며 Law Zero의 실패를 반복하고 있다
AI Safety is uncomputable. It's Law Zero all over again
Haize Labs가 인간 작성 Jailbreak 데이터셋 8개를 통합한 Red-Teaming Resistance Leaderboard를 구축해 LLM의 안전성을 카테고리별로 측정
Introducing the Red-Teaming Resistance Leaderboard
Secure Learning Lab이 DecodingTrust 플랫폼을 통해 LLM의 독성, 편향, 적대적 견고성, OOD 견고성, 개인정보보호, 윤리, 공정성 등 8가지 관점에서 신뢰성을 평가하는 통합 벤치마크 체계 구축
An Introduction to AI Secure LLM Safety Leaderboard
HuggingFace 팀이 LLM의 유해 출력을 유도하는 Red-Teaming 평가 방법론을 체계화해 모델 안전성 검증 체계 수립
Red-Teaming Large Language Models