Anthropic, 보이지 않는 Claude Fable 가드레일에 사과함

Claude Fable의 은밀한 Distillation 방어 기제 철회 및 투명한 Routing 구조 전환

neo2026년 6월 12일14분intermediate

AI 요약

Context

경쟁사의 Model Distillation을 통한 지식 추출을 방어하기 위해 사용자 몰래 응답 품질을 저하시키는 Hidden Guardrail을 적용함. 빠른 모델 출시와 낮은 False Positive 달성을 위해 설계되었으나, 정당한 연구 및 보안 테스트까지 방해하는 불투명한 제어 구조가 한계로 작용함.

Technical Solution

Distillation 시도 감지 시 응답 자체를 조용히 변경·저하시키던 Silent Degradation 방식을 전면 철회함
고위험 영역(Cybersecurity, Biology, Chemistry) 및 증류 요청을 감지하여 Claude Opus 4.8로 강제 전환하는 Explicit Routing 구조 도입
Routing 발생 시 사용자에게 전환 사실과 사유를 즉시 통지하는 Notification Layer 추가
금지 콘텐츠(무기, 약물 등)에 한해서는 Routing이 아닌 전면 차단(Blocking) 정책을 유지하는 이원화된 안전 계층 설계
Guardrail의 오탐으로 인한 성능 저하 문제를 해결하기 위해 보이지 않는 제약 대신 명시적 모델 스위칭 전략 채택

실천 포인트

1. 보안/정책 필터링 적용 시 사용자에게 인지되지 않는 Silent 처리 로직이 포함되어 있는지 검토할 것

2. 시스템 제약으로 인해 결과값이 변경될 경우, 변경 전후의 모델 버전이나 처리 로직의 차이를 명시적으로 로그 및 UI에 노출할 것

3. False Positive 발생 시 사용자가 피드백을 통해 예외 처리를 요청할 수 있는 Feedback Loop를 설계에 포함할 것

태그

#LLM Safety #Model Distillation #Routing #Guardrails #false positive

원문 읽기