엔지니어가 Next.js와 Claude 3.5로 Slack 메시지를 분석하여 자동으로 Jira 티켓을 종료하는 봇 구축

Context

개발자들이 Slack 일일 스탠드업에서 작업 완료를 자연스럽게 보고하지만, PM의 요청으로 별도로 Jira 티켓을 수동으로 완료 상태로 변경해야 하는 반복적인 컨텍스트 스위칭이 발생하고 있었다.

Technical Solution

• Slack Events API 웹훅 수신 시 @vercel/functions의 waitUntil 함수를 사용하여 3초 타임아웃 제약 우회: 즉시 200 OK 응답 후 백그라운드에서 AI 파이프라인 실행
• Claude 3.5 Sonnet에 엄격한 시스템 프롬프트 설계: 신뢰도 점수(0.0~1.0) 포함 JSON 응답 강제로 할루시네이션 방지
• 신뢰도 점수 0.95 이상 시 자동 종료, 0.70~0.94 범위 시 사용자에게 임시 Slack 메시지로 확인 버튼 제공
• Jira/Linear API 호출 후 티켓에 감사 추적 목적의 댓글 작성: 원본 Slack 메시지 인용 및 봇 동작 내역 기록
• Next.js API 라우트(src/app/api/webhooks/slack/route.ts)에서 processSlackMessage 함수로 메시지 분석 및 API 호출 오케스트레이션

Key Takeaway

LLM 기반 자동화 시스템을 구축할 때 외부 API의 응답 시간 제약(Slack 3초 규칙)과 AI의 오류 위험성을 동시에 해결하려면, 비동기 처리 패턴(waitUntil)과 신뢰도 임계값 기반 의사결정(자동 vs 사용자 승인) 계층화가 필수적이다.