12개 Agent 기반의 고신뢰성 Multi-agent Pipeline 설계 및 구현

Context

LLM 기반 자동화 파이프라인에서 모델 간 출력 구조 불일치와 상태 머신의 데이터 오염 문제가 발생함. 단순한 LLM 호출을 넘어 실제 배포 가능한 수준의 품질을 보장하기 위한 엄격한 제어 구조와 복구 메커니즘의 필요성이 제기됨.

Technical Solution

• Task-level Pinning 도입을 통한 모델 간 일관성 유지: Architect와 Developer 같은 핵심 태스크를 특정 Provider에 고정하여 출력 구조 불일치로 인한 파이프라인 붕괴 방지
• Dual Persistence 기반의 State Machine 설계: JSON과 SQLite를 병행 사용하며, JSON 파싱 실패 시 SQLite 스냅샷으로 복구하는 Recovery Fallback 체계 구축
• Noop Detection 및 Orphan Feedback Heuristic 적용: Director AI의 무한 루프를 방지하는 빈 결정 감지 로직과 기존 제품 존재 여부에 따른 메시지 분류 최적화
• 5단계 Quality Gate 시스템 구축: Playwright E2E 테스트와 AST Scan을 통한 보안 취약점 검출 등 자동화된 검증 단계로 모델의 hallucination 및 코드 결함 제거
• Sandbox-specific URL Rewriter 구현: iframe 내 렌더링 시 발생하는 CSP 제약 및 상대 경로 깨짐 현상을 해결하기 위한 전용 URL 재작성 로직 적용