AI 안전 연구자들이 발견한 위험한 취약점을 책임감 있게 공개할 체계 부재로 인한 딜레마

Context

전통적 사이버보안 분야는 CVE, 조율된 공개 프레임워크, 버그 바운티 등 성숙한 책임 공개 체계를 갖추고 있다. AI 안전 연구 분야는 이러한 인프라가 전혀 없는 상태다. 연구자들이 로컬 및 상용 AI 모델에서 발견한 취약점의 대부분이 공개할 수 없는 상황이 발생한다.

Technical Solution

• 발견 내용을 세 가지 계층으로 분류: Tier 1(공개 가능하지만 흥미롭지 않은 명백한 실패 모드), Tier 2(방법론 없이 실패 유형만 설명 가능), Tier 3(구체적이고 해로우며 효과적인 출력으로 공개 불가)
• Tier 3 취약점의 특성 분류: 자해 권장, 심리 조작 능력, 생물무기 합성 경로 등 전문가 조언으로 가장 할 수 있는 내용
• AI 안전 연구용 조율된 공개 채널 필요: 신뢰할 수 있는 중개자, 책임감 있는 공개 경로, 사용 가능한 사람에게만 도달하는 프레임워크
• Anthropic의 책임 공개 정책 검토: 사이버보안만 공식 공개 프로그램에 포함되고 jailbreak 발견사항은 별도 이메일로 접수되며 안전 장치 없음

Key Takeaway

AI 안전 연구의 가장 중요한 발견은 공개할 수 없다는 모순이 현재 제도의 핵심 문제다. 사이버보안과 다르게 AI 시스템의 소프트 가드레일 붕괴로 인한 피해는 "정의된 프레임워크 내 수용 가능한" 행위로 분류할 수 없기 때문이다.