Consilium이 다중 LLM 토론 플랫폼으로 구조화된 역할 할당과 상태 관리를 통해 AI 모델 간 합의 도달 구현

Context

기존 단일 LLM 분석은 개별 모델의 관점 제한으로 의사결정 정확도가 낮았다. Microsoft의 AI Diagnostic Orchestrator 사례에서 의사 패널 구성 시 85.5%의 진단 정확도를 달성했으나, 같은 벤치마크에서 개별 의사는 20%의 정확도만 보유했다.

Technical Solution

• 역할 기반 토론 구조 도입: 6가지 구체적 역할(Standard, Expert Advocate, Critical Analyst, Strategic Advisor, Research Specialist, Innovation Catalyst)을 프롬프트로 정의해 LLM 간 의미 있는 토론 생성
• 사용자별 세션 상태 격리: user_sessions[session_id]를 통한 딕셔너리 기반 상태 저장소로 각 사용자 세션의 participants, messages, currentSpeaker, thinking, showBubbles 배열 관리
• 증분 상태 업데이트 메커니즘: update_visual_state() 콜백으로 백엔드 처리 중 JSON 상태를 프론트엔드로 직접 동기화하여 실시간 시각화
• 커스텀 Gradio 컴포넌트 구현: 포커 테이블 스타일의 라운드테이블 시각화로 AI 전문가들의 협력 토론 표현
• MCP 서버 및 Open Floor Protocol 통합: Model Context Protocol 기반 아키텍처로 Cline 같은 애플리케이션과 직접 연동 가능하며, OFP 지원으로 동적 에이전트 추가/제거 기능 제공
• 다중 의사결정 모드 지원: 구조화된 토론 이외에 다수결 투표, 순위 선택 투표 추가로 협력 메커니즘 다양화

Key Takeaway

다중 AI 모델의 협력 구조는 개별 모델보다 현저히 높은 정확도를 달성할 수 있으며, 명확한 역할 할당과 상태 기반 동기화를 통해 실시간 협업 시스템 구현이 가능하다.