Streamlining Security Investigations with Agents

Context

초기 프로토타입은 단일 프롬프트(약 300단어)로 구성된 보안 조사 에이전트였으나, 성능이 매우 불안정했다. 때때로는 우수한 결과를 생성했지만 많은 경우 충분한 검증 없이 편의적이거나 허위 결론에 빠르게 도달하는 문제가 있었다. 프롬프트 개선만으로는 세밀한 제어가 불가능했다.

Technical Solution

• 복잡한 조사 프로세스를 단일 목적을 가진 모델 호출의 연쇄로 분해: 각 작업은 명확한 출력 구조를 정의
• 구조화된 출력(Structured Output) 활용: JSON 스키마로 모델 출력 형식을 제한하여 일관성 있는 결과 생성
• MCP 서버 구현: "stdio" 모드로 데이터 소스 부분 집합을 도구 호출 인터페이스를 통해 안전하게 노출
• 에이전트 기반 아키텍처 설계: Director(조사 진행), Expert(도메인 전문가 4명: Access/Cloud/Code/Threat), Critic(메타 분석) 페르소나로 구성
• 페르소나 간 협업 오케스트레이션: Director가 질문 형성 → Expert가 조사 응답 → Critic이 품질 검토 및 타임라인 조립 → Director가 조사 방향 결정

Key Takeaway

복잡한 AI 기반 조사 시스템에서는 프롬프트 개선보다 명확한 페르소나 분리와 구조화된 출력을 통한 다단계 오케스트레이션이 일관된 제어와 성능을 확보하는 핵심이다. 또한 Critic 페르소나가 전문가의 미흡한 분석을 메타 분석으로 보완하는 사례처럼, 다중 검증 계층이 단일 모델의 한계를 보완할 수 있다.