Frontier LLM의 SRE 업무 수행률 50% 미만, Precision 기반 벤치마크 결과

Context

Kubernetes 환경의 복잡한 장애 진단 능력을 평가하기 위한 전문 벤치마크의 부재. 단순 텍스트 분석을 넘어 로그, 트레이스, 토폴로지를 통합 분석하여 Root Cause를 식별하는 Agentic 능력이 요구됨.

Technical Solution

• Stirrup reference harness를 통한 샌드박스 파일 시스템 및 Shell 접근 권한 부여로 실제 운영 환경 모사
• Alerts, Events, Traces, Metrics, Logs, Topology를 포함한 Kubernetes 인시던트 스냅샷 제공을 통한 다각도 분석 유도
• Recall-gated Precision 채택으로 모든 Root Cause를 찾아내지 못할 경우 0점 처리하는 엄격한 검증 로직 설계
• False Positive 페널티 부여를 통해 단순 증상 나열이 아닌 최소 단위의 독립적 Root Cause 식별 강제
• 100-turn 캡 설정을 통한 모델별 추론 경로의 효율성 및 비용 대비 성능 측정

Impact

• Claude Opus 4.7(47%) 및 GPT-5.5(46%)를 포함한 모든 Frontier Model의 정답률 50% 미만 기록
• 추론 횟수와 정확도의 비상관성 확인: Gemini 3.1 Pro(83 turns, 30%) 대비 Gemma 4 31B(58 turns, 37%)의 높은 효율성 증명
• 비용 효율성 격차 발생: Gemma 4 31B($0.14/task)가 Gemini 3.1 Pro($2.23/task) 대비 낮은 비용으로 높은 성능 구현

Key Takeaway

LLM Agent의 성능 향상은 단순히 추론 단계(Turns)를 늘리는 것이 아니라, 불필요한 과잉 조사(Over-investigation)를 줄이고 핵심 Root Cause를 정밀하게 타격하는 추론 경로 최적화에 있음.