피드로 돌아가기
Dev.toAI/ML
원문 읽기
Council-based Multi-Agent Debate를 통한 Discussion Skill 추출 및 학습 시스템 구현
I Built an AI System Where Agents Argue — Then Learn From the Argument
AI 요약
Context
단일 Agent의 과신(Overconfidence) 문제와 기존 Multi-Agent 시스템의 단순 파이프라인식 분업 구조로 인한 검증 부재를 해결하고자 함. 상호 비판과 합의 과정을 통해 결과물의 정밀도를 높이고 이를 다시 학습 데이터로 활용하는 구조적 설계가 필요함.
Technical Solution
- Parallel Council 구조 설계를 통한 Scout, Architect, Critic, Synthesizer 간의 동시 다발적 의견 교환 및 병목 제거
- asyncio.gather 기반의 병렬 실행으로 역할 증가에 따른 Wall-clock time 증가를 억제하여 단일 Agent 수준의 응답 속도 유지
- Execution 및 Discussion Skill Extractor를 분리하여 도구 호출 트레이스와 토론 전개 과정을 독립적으로 학습하는 피드백 루프 구축
- Semantic Similarity, LLM Relevance, Keyword Overlap 순의 3-tier Skill Matching 전략을 통한 Embedding Provider 부재 시의 Graceful Degradation 구현
- SSE Streaming 도입을 통해 다수 Agent의 토큰 생성을 실시간 시각화하여 사용자 체감 대기 시간 감소 및 시스템 투명성 확보
- LLM-as-Judge 기반의 Integration Test와 Mock 기반 Unit Test(188개)를 병행하여 프롬프트 변경에 따른 품질 저하 방지
실천 포인트
- LLM 시스템 설계 시 단순 순차적 워크플로우 대신 비판적 관점의 Critic 역할을 병렬 배치하여 결과물 검증 단계 강화 - 외부 종속성이 있는 기능(Embedding 등) 도입 시 단계별 Fallback 전략을 설계하여 시스템 가용성 확보 - Multi-Agent 시스템의 응답 지연 해결을 위해 I/O Bound 작업의 비동기 병렬 처리 및 SSE 기반의 실시간 스트리밍 적용 검토 - 프롬프트 엔지니어링 변경 시 발생할 수 있는 Quality Drift를 감지하기 위해 LLM-as-Judge 기반의 자동화된 품질 테스트 셋 구축