Structural Retrieval 도입으로 Agent 실패 예측 AUC 0.60에서 0.705로 개선

Context

기존 RAG 기반 검색은 텍스트의 Semantic Similarity에 의존하여 Agent의 Action Sequence가 갖는 구조적 신호를 유실함. 이로 인해 실행 경로의 패턴을 분석하여 실패를 예측해야 하는 모니터링 시나리오에서 성능 정체 현상이 발생함.

Technical Solution

• 단순 텍스트 임베딩 대신 Trajectory를 Typed Element의 시퀀스로 정의하여 구조적 특징 추출
• KNN Voting 기반의 Structural Retrieval Engine을 통해 현재 상태와 구조적으로 유사한 과거 경로를 검색
• Trajectory 길이에 따른 편향을 제거하기 위해 Step 60 이후의 Per-step Stratified ROC AUC 메트릭 설계
• 성공/실패라는 Objective Global Property를 라벨로 사용하여 검색 품질을 정량적으로 검증
• Jaccard Similarity 기반의 경로 유사도 측정 및 Threshold 조절을 통한 Coverage와 Selectivity 최적화
• Open-source 패키지 'episodiq'를 통한 Trajectory Representation 및 분석 파이프라인 구현

Impact

• Basic RAG의 AUC 0.60 대비 Structural Retrieval 적용 시 AUC 0.705 달성
• 220개의 Trajectory 데이터셋을 통한 초기 유효성 검증 완료

Key Takeaway

시퀀스 데이터 분석 시 단순한 의미론적 유사성보다 상태 전이와 의사결정 흐름 같은 구조적 유사성이 시스템의 상태 예측에 더 결정적인 신호를 제공함.