피드로 돌아가기
Dev.toBackend
원문 읽기
WhatsApp-LLM 연동을 통한 실시간 다중 시트 데이터 쿼리 시스템 구축
How I Built a WhatsApp AI Assistant That Answers Questions From a Live Database
AI 요약
Context
조직 내 데이터가 다수 스프레드시트에 분산되어 발생하는 정보 접근 병목 현상 발생. 관리자에게 개별 문의해야 하는 수동 프로세스로 인한 데이터 조회 효율성 저하 해결 필요.
Technical Solution
- WAHA-n8n-Groq를 연계한 Event Driven 아키텍처 설계로 실시간 메시징 인터페이스 구현
- Webhook 기반의 Group ID 필터링 로직을 통한 비인가 사용자 접근 차단 및 보안성 확보
- Google Sheets API Rate Limit 회피를 위해 Code 노드에서 다중 시트 데이터를 단일 요청으로 통합 Fetch 하는 최적화 수행
- LLaMA 3.1 8B 모델에 Few-shot Prompting과 엄격한 제약 조건을 적용하여 WhatsApp 환경에 최적화된 고밀도 응답 생성
- 리포트 요청과 일반 질의를 분리하는 Conditional Routing 설계를 통해 불필요한 AI 추론 비용 제거 및 응답 정확도 향상
- 에러 핸들링 레이어 구축을 통한 외부 API 장애 시 Fallback 메시지 송출로 사용자 경험 유지
실천 포인트
- LLM 도입 시 모델 성능보다 구체적인 출력 예시를 포함한 Prompt Formatting 우선 검토 - 외부 API 호출 시 Rate Limit을 고려하여 개별 노드 호출 대신 단일 Code 노드 내 Batch Fetching 구현 - 정형 데이터 리포트의 경우 LLM 추론 대신 결정론적(Deterministic)인 데이터 포맷팅 로직 사용 - Webhook 기반 시스템 설계 시 메시지 발신처 검증 로직을 최상단에 배치하여 보안 리스크 최소화