DystopiaBench를 42개 모델과 6가지 디스토피아 유형으로 확장했습니다. 나라면 핵 발사 코드는 여전히 ...

Context

LLM의 안전 가드레일이 단순한 거부 응답을 넘어 복잡한 사회적 위해 시나리오에서 어떻게 작동하는지 검증 필요. 기존 벤치마크의 단순함을 극복하기 위해 다차원적 심각도 측정 체계 도입.

Technical Solution

• 헉슬리 및 보드리야르 모듈 추가를 통한 행동 조건화 및 가짜 친밀감 기반의 고도화된 위해 시나리오 설계
• L1(innocent)부터 L5(nightmare)까지 5단계 심각도 수준을 정의하여 모델의 거부 임계점 정밀 측정
• 76% 이상의 동의를 요구하는 Multi-judge panels 구조를 채택하여 평가 객관성 확보
• 36가지 시나리오별 모델 반응을 시각화하는 Heatmap 방법론 적용으로 취약 지점 식별
• 단순 거부 여부가 아닌 윤리적 근거 제시 여부를 포함한 정성적 평가 지표 통합

Impact

• Claude Opus 4.7의 경우 L4-L5 수준 작업의 일관된 거부 및 Petrov 모듈 L3 단계부터의 조기 차단 확인
• GPT-5.5의 L4~L5 수준 요청 수행 및 Gemini 3.1 Pro의 감시 시나리오 협조성 등 모델별 안전성 편차 노출