AI Agent의 비결정적 동작 제어, SLS 기반 통합 Observability로 해결

Context

AI Agent는 입력값에 따라 도구 호출 시퀀스가 변하는 비결정적 특성을 가짐. 코드 리뷰나 런타임 보호만으로는 모든 실행 경로의 예측과 보안 감사가 불가능함. 호출 주체, 비용, 고위험 도구 실행 여부를 추적할 체계적인 관찰 시스템이 부재한 상황.

Technical Solution

• OpenClaw와 Alibaba Cloud SLS를 연동하여 Session Logs, Application Logs, OTEL 데이터를 통합 수집하는 구조
• LoongCollector를 통한 OTLP 프로토콜 네이티브 지원으로 OpenClaw의 diagnostics-otel 플러그인과 즉시 통합
• SPL(Structured Process Language)을 활용해 JSON 중첩 필드 내의 토큰 비용 및 도구 호출 통계를 분석하는 쿼리 설계
• OTEL Metrics로 이상 징후를 탐지하고 Application Logs로 범위 축소 후 Session Logs로 전체 행위를 재구성하는 상호보완적 분석 파이프라인 구축
• RAM 권한 제어 및 민감 데이터 마스킹 기능을 적용하여 감사 추적 및 컴플라이언스 요구사항을 충족하는 보안 설계
• 수집부터 인덱싱, 쿼리, 대시보드, 알림까지 이어지는 원스톱 Closed-loop 운영 체계 구현

Key Takeaway

런타임 보호는 성벽과 같고 Observability는 초소와 같음. 비결정적 AI 시스템에서는 단순한 차단 정책보다 데이터 기반의 지속적인 관찰과 사후 재구성 능력이 제어권 확보의 핵심임.