4개 모델 Council과 Git 로그를 통한 AI Agent 검증 아키텍처 설계

We built a 4-model Council to certify AI agents — every decision is in git

Aetherneum2026년 5월 20일7분intermediate

AI 요약

Context

단일 모델 판정 방식의 Vendor Bias와 단일 실패 지점(Single Failure Mode)으로 인한 신뢰성 결여 문제를 분석함. 감사 추적(Audit Trail)이 불가능한 기존 평가 체계의 한계를 극복하기 위한 구조적 대안이 필요함.

Technical Solution

4개 서로 다른 Provider의 모델을 병렬 배치하여 교차 검증하는 Council 패턴 도입
ThreadPoolExecutor 기반의 Python 오케스트레이터로 모델별 Payload 크기 최적화 및 Rate-limit 대응 로직 구현
7가지 정량적 Rubric 기반의 Structured JSON 출력으로 평가 결과의 정형화 달성
synthetic_transparency 점수 9점 미만 시 자동 Veto를 발생시키는 하드 코딩된 제약 조건 설정
모든 평가 결과물을 Public Git Log에 Commit 하여 위변조 불가능한 감사 추적 시스템 구축
API 일시 오류 대응을 위한 Quorum(정족수 3명) 기반의 합의 알고리즘 적용

실천 포인트

- LLM 기반 평가 시 단일 모델의 편향성을 제거하기 위한 Multi-model 교차 검증 도입 검토 - 정성적 평가를 정량적 Rubric으로 변환하고, 특정 임계값 미만 시 자동 거부(Veto)하는 결정 로직 설계 - AI의 의사결정 과정을 JSON 형태로 정형화하고 Git과 같은 버전 관리 시스템에 기록하여 감사 가능성 확보 - API Rate-limit 해결을 위한 Exponential Backoff 및 모델별 맞춤형 Payload sizing 적용

태그

#Veto Mechanism #LLM Evaluation #Multi-model Council #audit-trail #Quorum

원문 읽기