What happens when you put multiple AI models in the same real-time conversation

Context

ChatGPT, Claude, Gemini, Grok 등 여러 AI 모델의 의견을 얻기 위해 수동으로 질문을 복사-붙여넣기하는 비효율적 워크플로우가 반복되었다. AI 모델들이 같은 컨텍스트에서 상호작용할 수 없어 상호 검증과 관점 다양화가 불가능했다.

Technical Solution

• @mention 파싱 시스템 구현: 메시지 전송 전 파싱하여 특정 에이전트 지정(@mention), 자동 응답(@mention 없음), 또는 모든 에이전트 순차 실행(@all-agents) 제어
• 하이브리드 참여자 관리: 영구적 WebSocket 연결(인간 사용자) + 서버 측 트리거(AI 에이전트)를 구분하는 sender_type enum과 agent_id 외래키 추가
• 에이전트 오케스트레이션: 각 에이전트별로 독립적 모델·제공자·시스템 프롬프트·온도 설정하고, 트리거 시 전체 대화 이력을 컨텍스트로 전달
• 커서 기반 페이지네이션: 마지막 100개 메시지 로드 후 스크롤 시 추가 로드, AI 호출에는 최근 컨텍스트 윈도우만 전달하여 토큰 비용 제어
• 선불 크레딧 시스템: 정액제 대신 선불 크레딧 방식으로 모델·토큰 사용량에 따라 차감하여 API 제공자 비용 예측 가능화
• 기술 스택: Frontend(React 19, Vite 6, Tailwind 4), Backend(Express 5, TypeScript), Database(PostgreSQL 15), 실시간 상태(Redis 7), WebSocket(Socket.IO), AI SDK(OpenAI, Anthropic, Google, xAI)

Key Takeaway

멀티에이전트 아키텍처 설계 시 각 에이전트가 동일한 대화 컨텍스트를 보도록 전체 이력을 공유하되, 토큰 비용 폭발을 방지하기 위해 커서 기반 페이지네이션으로 최근 메시지만 AI 호출에 포함시키는 균형이 중요하다. 실제 사용자 검증 전에 핵심 기능(그룹 채팅 + 2개 에이전트)만 먼저 출시하는 것이 부수 기능 구축 시간 낭비를 방지한다.