Multi-Agent Debate 내재화를 통한 토큰 사용량 93% 절감 및 추론 성능 유지

Context

LLM의 추론 능력 향상을 위한 Multi-agent debate 방식의 높은 Compute 비용 문제 발생. 정답 도출 전 방대한 양의 Transcript 생성이 필수적인 구조적 비효율성 존재.

Technical Solution

• Debate 구조 학습과 Internalization을 결합한 2단계 Fine-tuning 파이프라인 설계
• Dynamic Reward Scheduling 및 Length Clipping을 통한 추론 과정의 효율적 압축
• Multi-agent 간의 상호작용 논리를 단일 LLM 내부의 Latent Space로 Distillation
• Activation Steering을 통한 모델 내부 Agent-specific Subspaces 식별 및 제어
• 악의적 Agent 주입 후 Negative Steering을 적용하여 유해 행동의 국소화 및 제거

Impact

• Explicit Multi-agent debate 대비 최대 93%의 Token 사용량 감소
• 토큰 절감 상태에서도 기존 Multi-agent debate와 동등하거나 상회하는 성능 달성