프로세스 생존 여부를 넘어 CrewAI 에이전트의 실질적 작업 진척도를 감시하는 방법

Context

CrewAI와 같은 Multi-agent 오케스트레이션 프레임워크는 프로세스가 살아있어도 내부적으로 정지하는 특성이 있음. LLM 응답 대기나 무한 루프로 인해 작업이 중단되어도 외부 모니터링 툴은 정상 종료(Exit code 0)로 인식함. 단순 프로세스 감시만으로는 에이전트의 실질적인 작업 완료 여부를 판단하기 어려운 구조임.

Technical Solution

• ClevAgent 라이브러리를 통한 에이전트 레벨의 Heartbeat 모니터링 체계 구축
• clevagent.init()을 통한 에이전트 식별자 등록 및 자동 상태 추적 활성화
• CrewAI의 step_callback 인터페이스를 활용하여 각 에이전트의 단계별 실행 결과와 메타데이터를 전송하는 설계
• 전송된 ping() 데이터의 빈도와 패턴을 분석하여 동일 메타데이터 반복 발생 시 무한 루프로 판별하는 탐지 로직 적용
• 과거 실행 데이터와 현재 런타임 비용을 비교하여 비정상적인 토큰 소모량을 감지하는 비용 추적 메커니즘 도입
• 작업 완료 시 crew_complete 상태와 결과물 길이를 함께 전송하여 최종 산출물의 유효성을 검증하는 방식

Impact

• Heartbeat 미수신 시 120초 이내 알림 발송
• 평소 대비 5배 이상의 비용 발생 시 즉시 경고 트리거

Key Takeaway

분산된 에이전트 환경에서는 인프라 수준의 Health Check보다 비즈니스 로직의 진척도를 측정하는 애플리케이션 레벨의 Observability 확보가 필수적임.