Agent Forensics가 Context Injection Tracking과 Prompt Drift Detection 기능을 추가해 AI 에이전트의 의사결정 경로를 완전히 추적 가능하도록 개선

Context

AI 에이전트의 의사결정 과정에서 어떤 외부 데이터와 지시사항이 영향을 미쳤는지 불투명했다. 기존 v0.1의 결정 로그는 '무엇을 했는가'는 보여주지만 '무엇을 보고 했는가'와 '지시사항이 언제 변했는가'는 드러내지 못했다. 특히 벡터 데이터베이스 문서, 메모리 저장소, 동적으로 주입된 규칙 등이 에이전트의 행동을 조용히 변경하는 현상을 감지할 수 없었다.

Technical Solution

• Context Injection Tracking: 에이전트가 의사결정 시 참고한 벡터 데이터베이스 문서, 메모리 저장소, 고객 프로필 등의 컨텍스트를 기록하고 유사도 점수(similarity_score) 포함해 추적
• Prompt Drift Detection: 멀티스텝 워크플로우 중 시스템 프롬프트 변경을 자동으로 감지하고 추가/제거된 지시사항을 보고서에 명시
• LangChain/OpenAI Agents SDK 통합: 프롬프트 드리프트 감지를 자동화하고 수동 호출 없이 각 LLM 호출 시점의 시스템 프롬프트 상태를 추적
• 인과관계 체인 재구성: 컨텍스트 주입 → 고객 플래그 지정 → 프롬프트 수정 → 의사결정의 전 과정을 시각화하는 포렌식 보고서 생성
• 유사도 기반 신뢰도 표시: RAG 문서 검색 시 similarity_score(예: 0.92)를 기록해 결정 신뢰도의 근거 제시

Key Takeaway

의사결정 로그는 사후 분석용 도구이며, 진정한 포렌식은 외부 컨텍스트 주입과 실시간 프롬프트 변화를 추적해 '왜 그렇게 해석했는가'의 인과관계를 완전히 재구성하는 것이다.