AI Agent의 본질: Probabilistic Engine을 제어하는 Imperative State Machine 아키텍처

Context

현대 AI Agent는 새로운 기술적 도약이 아닌 1970년대부터 존재한 Vector representation과 Spatial indexing의 재조합으로 구성된 시스템임. LLM의 제한된 Context Window로 인한 데이터 유실 문제와 확률적 모델 특성으로 인한 Hallucination 및 제어 불가능성이 주요 한계점으로 작용함.

Technical Solution

• Tokenizer 및 Embedding Layer를 통한 텍스트의 Vector 변환 및 Matrix Multiplication 기반의 가중치 계산 구조 채택
• FIFO 방식의 단순 Context 절단 문제를 해결하기 위해 외부 지식 기반의 RAG pipeline을 도입하여 데이터 최신성 확보 및 Hallucination 억제
• 확률적 엔진인 LLM의 불확실성을 제어하기 위해 LangGraph 등의 라이브러리를 활용한 Imperative Orchestration Layer 설계
• 결정론적 흐름 제어를 위해 State Machine 구조를 도입하여 SQL 조회, Vector DB 검색, Tool 호출 등의 실행 경로를 명시적으로 정의
• 블랙박스형 상용 서비스의 비용 예측 불가능성과 불투명한 로직 제어를 해결하기 위한 Local Agent 기반의 독립적 인프라 구축