LLM Silence를 넘어 Production Job 수준의 Agent Lifecycle 관리 체계 구축

Context

대부분의 Agent Framework가 모델의 Token 생성 중단(Silence)을 작업 완료로 오인하는 설계 결함 보유. Context Window 제한이나 Tool Error로 인한 비정상 종료를 구분하지 못해 Production 환경에서의 신뢰성 결여 문제 발생.

Technical Solution

• Job Scheduler 방식의 Lifecycle 도입을 통한 Pending, Running, Succeeded, Failed, Timed out 상태의 명시적 정의
• Model Stop Token 발생 후 Tool Call 반환 여부 및 Background Process 종료 상태를 검증하는 Exit State 확인 로직 설계
• 단순 텍스트 결과물이 아닌 Log, Citation, Test Result 등 증빙 Artifact Manifest를 강제하는 검증 체계 구축
• GPU Resource 경합으로 인한 Output Corruption 방지를 위해 Semaphore 기반의 Dispatch Guard 레이어 도입
• Agent의 자의적 판단에 의한 작업 범위 축소를 방지하기 위해 원본 Objective와 최종 결과물을 대조하는 자동화된 Verification Step 추가