Read-Only AI Agent 도입을 통한 DevOps 요청 70% 자동 해결 및 토큰 79% 절감

Context

DevOps 요청의 70%가 단순 도구 쿼리로 해결 가능한 반복 작업임에도 지식이 파편화되어 휴먼 리소스 낭비가 심한 구조. 정형화된 Workflow 기반 봇으로는 다양한 인프라 장애 시나리오와 복합적인 조사 경로를 대응하는 데 한계가 존재함.

Technical Solution

• GPT-5.4의 Function Calling을 활용해 최대 20단계의 Tool Call을 동적으로 구성하는 Generic LLM Agent 아키텍처 설계
• 인프라 파괴 위험을 원천 차단하고 신뢰도를 확보하기 위해 kubectl, Azure CLI 등 6종의 도구를 Read-Only 권한으로 제한한 설계 전략
• 도구별 핵심 필드만 추출하는 Tool-aware Compaction 로직을 구현하여 LLM 컨텍스트 유입 데이터의 노이즈 제거 및 토큰 효율 최적화
• GitOps 패턴, 네이밍 컨벤션 등 팀 내 암묵적 지식을 System Prompt에 인코딩하여 컨텍스트 기반의 정확한 타겟팅 탐색 구현
• Slack Bolt와 asyncio 기반의 비동기 런타임을 적용하고 ArgoCD를 통해 AKS에 배포하는 GitOps 파이프라인 구축
• Thread 내 최대 20개 메시지를 참조하는 대화 상태 유지 구조를 설계하여 후속 질문에 대한 문맥 연속성 확보