인프라 구축 없는 AI Agent 배포, Polpo Runtime으로 해결

Context

AI Agent의 기능 발전 속도 대비 인프라 구축 환경의 정체. 스트리밍, 샌드박싱, 메모리 관리 등 반복적인 백엔드 플러밍 작업 발생. 데모 수준의 구현물과 실제 프로덕션 환경 사이의 큰 기술적 간극 존재.

Technical Solution

• JSON 설정 기반의 Agent 정의 방식을 도입하여 코드 작성 없이 배포 가능한 구조 설계
• SSE 기반의 실시간 토큰 스트리밍과 OpenAI 호환 API 엔드포인트를 기본 제공하는 런타임 환경 구축
• Agent별 독립적인 격리 환경을 제공하는 Sandboxed Execution 아키텍처 적용
• 세션 간 컨텍스트 유지를 위한 내장형 Persistent Memory 관리 체계 구현
• 60개 이상의 내장 도구와 skills.sh를 통한 모듈형 지식 패키지 확장 체계 마련
• LLM-as-a-Judge 기반의 G-Eval 스코어링 및 커스텀 루브릭을 통한 체계적 평가 프로세스 통합

Key Takeaway

AI Agent 생태계에서 라이브러리 중심의 프레임워크보다 배포와 실행을 책임지는 전용 런타임 계층의 필요성 확인. 인프라를 상품화(Commodity)하여 개발자가 비즈니스 로직과 Agent 페르소나 설계에만 집중하게 만드는 추상화 전략.