Stateless Chatbot을 넘어 Persistent Agent Runtime으로의 아키텍처 전환

Context

기존 AI 시스템이 Input-Output 중심의 Stateless 구조로 동작하여 연속적인 작업 수행과 상태 유지에 한계를 보임. 단순한 Prompt Engineering으로는 복잡한 워크플로우의 지속성과 Context 관리를 해결하기 어려운 상황임.

Technical Solution

• 단순 응답 생성이 아닌 State → Context → Reason → Act → Store → Continue로 이어지는 지속적 루프 기반의 Runtime 설계
• Memory Manager를 통한 Long-term Memory, Session History, External Provider의 계층적 분리 및 정보 아키텍처 구축
• Context Overflow를 실패가 아닌 진화로 정의하여 지능적 압축 및 Session Rotation을 통한 Context Lifecycle 관리
• Tool Schema 정의 및 안전한 실행 환경을 구축하여 LLM이 텍스트 생성을 넘어 시스템 내부 Action을 선택하는 구조 채택
• Sub-agent 생성을 통한 격리된 Context와 제한된 Tool 제공으로 지능형 작업의 분산 처리 및 Delegation 체계 구현
• Agent를 일회성 Call이 아닌 지속적으로 실행되는 Process 단위로 처리하는 While-loop 기반 제어 로직 적용