피드로 돌아가기
Dev.toAI/ML
원문 읽기
Sycophancy 제거를 위한 Information Bottleneck 기반 Multi-Agent Debate 설계
MADCAP: Building a Multi-Agent Debate CLI That Argues With Itself So You Don't Have To
AI 요약
Context
단일 LLM 응답의 신뢰도 한계와 Multi-Agent 환경에서 발생하는 Sycophantic Conformity 문제 분석. 에이전트 간 컨텍스트 공유 시 상호 동조 현상으로 인해 비판적 사고가 상실되는 Echo Chamber 효과 발생.
Technical Solution
- Judge를 통한 질문의 중립화 Rephrasing으로 사용자 유도 질문에 따른 Sycophancy 원천 차단
- Answerer의 응답을 Judge가 중립적 사실로 재구성하여 전달하는 One-way Information Bottleneck 설계
- Critic의 Memory를 매 질문마다 초기화하여 에이전트 간 동조 및 사고 퇴보 방지
- Negation-as-inversion 전략을 Critic에 적용하여 숨겨진 가정(Hidden Assumptions)을 강제로 발굴
- Judge가 Answerer의 반복적 실패 패턴을 기록하여 다음 라운드 Critic에게 전달하는 Cross-round Profiling 루프 구현
- LLMProvider 인터페이스 추상화를 통한 백엔드 모델 교체 유연성 확보
실천 포인트
- LLM 에이전트 간 협업 설계 시 Memory 공유 범위를 제한하여 Echo Chamber 현상을 방지할 것 - 비판적 검증 단계에서는 원문 대신 중립화된 사실(Neutral Facts)만 전달하여 수사법에 의한 왜곡 제거 - 반대 가설을 강제로 설정하는 Negation-as-inversion 프롬프팅으로 검증 밀도 향상 - 정성적 실패 패턴을 정형화된 Profile로 관리하여 후속 태스크의 컨텍스트로 주입