우리 팀에도 Jarvis 가 생겼다 – 생성형 AI 로 만든 에러 분석가 이야기

Context

에러 발생 시 개발팀이 로그 검색과 해석에 5분 이상 소요되었으며, 서비스에 익숙하지 않은 주니어 개발자의 대응 시간이 더욱 길어져 시스템 안정성이 저하되는 상황이었다.

Technical Solution

• Slack 이벤트 기반 알림 수신: Slack Event Subscriptions를 통해 에러 알림을 자동으로 감지
• Gemini 연동을 위한 LangChain 도입: 생성형 AI 모델과의 통신을 LangChain 라이브러리로 구현
• 프롬프트 엔지니어링 5단계 규칙 수립: 구체성·명확성·문맥·예시·개방형 질문을 포함한 프롬프트 재구성 (역할 정의, 에러 확인, 중요도 평가, 발생 원인, 조치 방안 카테고리 설정)
• Model Context Protocol(MCP) 도입: GitHub 저장소의 소스 코드와 Datadog의 전체 에러 메시지를 MCP로 연결해 AI가 더 풍부한 맥락 정보 접근 가능하게 구성
• 에러 메시지 형식 정비: MCP 도입 전 에러 메시지 형식 수정 및 코드 주석 정비 작업 병행

Impact

Slack 채널 내 팀원 간 대화 패턴이 변화했으며, '로그 좀 확인해볼게요'라는 표현이 '아, 이 문제는 XX 부분이 문제인 것 같아요'라는 구체적 진단으로 빠르게 전환되었다.

Key Takeaway

생성형 AI 활용 시 단순한 질의응답만으로는 불충분하며, 명확한 프롬프트 엔지니어링과 시스템의 실제 맥락 정보(소스 코드, 로그, 비즈니스 로직)를 제공하는 아키텍처 설계가 실무 채택률을 결정한다.