피드로 돌아가기
Can AI actually find the root cause of a bug, or does it just sound confident?
Dev.toDev.to
AI/ML

Runtime Context 도입을 통한 RCA 정확도 6.5점에서 9.2점으로 향상

Can AI actually find the root cause of a bug, or does it just sound confident?

Atharva Panegai2026년 6월 20일6intermediate

Context

LLM 기반 Root Cause Analysis(RCA) 도구의 고질적인 문제인 Plausible-sounding(그럴듯한 답변) 현상으로 인한 신뢰도 저하 발생. 단순 Static Code Analysis만으로는 분산 시스템의 런타임 상태와 데이터베이스 내부 로직 간의 가시성 공백(Visibility Gap) 해결에 한계 존재.

Technical Solution

  • Semantic Search 기반의 코드베이스 인덱싱을 통한 초기 버그 위치 추적 구조 설계
  • Static Code Analysis 단계를 넘어 실제 실행 시점의 Option 값, Job State, Redis 이벤트 시퀀스를 포함하는 Runtime Context 주입
  • Application Layer(TypeScript)와 Database Layer(Lua Script)를 동시에 관측하는 Cross-layer Trace 분석 체계 구축
  • 런타임 데이터를 활용하여 단순 코드 흐름이 아닌 실제 메모리 및 DB 내 상태 변화에 따른 Short-circuit 지점 식별
  • 가설 설정 후 테스트 수트의 증거를 통해 오답을 제거하는 Senior Engineer 방식의 추론 프로세스 구현

1. 정적 분석 도구 도입 시 런타임 컨텍스트(상태 값, 이벤트 시퀀스) 결합 방안 검토

2. App-DB 간 경계를 넘나드는 Logic(예: Lua Script, Store Procedure)에 대한 추적 가능성 확보

3. AI 기반 진단 도구 활용 시 Plausibility(그럴듯함)와 Correctness(정확성)를 구분하는 검증 지표 설정

원문 읽기