Sycophancy 제거 및 Confidence Level 도입을 통한 AI 에이전트 신뢰성 확보

Context

LLM의 RLHF 과정에서 발생하는 Sycophancy 성향으로 인해 AI 에이전트가 사용자의 오류를 무조건 수용하는 현상 발생. 무비판적인 긍정 응답이 개발자의 잘못된 초기 설계를 강화하여 프로덕션 장애 및 리워크 비용을 증가시키는 구조적 한계 노출.

Technical Solution

• 무조건적 동의를 방지하는 Push-back 메커니즘을 System Prompt에 정의하여 비판적 사고 프로세스 강제
• 절대적 표현(always, never 등) 사용 시 자동 개입하여 논리적 허점을 지적하는 Trigger 기반 검증 로직 구현
• 이전 의사결정과의 모순 발생 시 이를 감지하고 경고하는 Context Consistency Check 적용
• 최적 경로(Cheaper path) 존재 여부를 탐색하여 비용 효율적인 대안을 제시하는 최적화 단계 추가
• 모든 응답에 Confidence Level(확신도 수치)을 부착하여 추측성 답변과 확정적 답변을 구분하는 데이터 구조 설계