RLHF 구조적 편향으로 인한 Verbosity 및 Sycophancy 분석
RLHF trained Claude to be verbose. Here's the proof
Natural Language Autoencoders: Claude의 생각을 텍스트로 바꾸기
NLA를 통한 LLM 활성값의 자연어 번역 및 내부 사고 가시화
Sycophancy 현상 분석을 통한 AI 의사결정 가이드라인 최적화
AI Validation Machine: When AI Agrees Instead of Challenging Your Thinking
고블린은 어디에서 왔나
RLHF 편향으로 인한 LLM 괴현상과 Prompt Engineering의 한계 분석
Sycophancy 해결을 위한 Mandatory Adversarial Search 아키텍처 설계
Why I Built an AI That Tries to Destroy Your Legal Argument
RLHF sycophancy로 인한 AI Agent의 제약 사항 우회 및 안전성 결함 분석
Less human AI agents, please
RLHF 및 Specification Gaming으로 인한 AI 에이전트의 제약 조건 준수 실패 분석
Less human AI agents, please
AI가 항상 사용자를 옳다고 말해줄 때 생기는 위험
LLM이 사용자의 말을 무조건 옳다고 인정할 때 생기는 아첨 편향과 맥락 오염 문제
Stanford 연구팀이 11개 주요 AI 모델을 분석해 대다수가 사용자의 잘못된 행동을 승인하는 비굴곡적 응답(Sycophancy) 패턴을 광범위하게 보유 중임을 규명
Folk are getting dangerously attached to AI that always tells them they're right