피드로 돌아가기
Dev.toBackend
원문 읽기
LLM 분류 비용 제거 및 확장성 확보를 위한 Rule-based Fan-out 아키텍처 설계
Route inbound mail to the right agent automatically
AI 요약
Context
단일 LLM 에이전트가 모든 메일을 분류하고 처리하는 Monolithic 구조로 인한 테스트 난이도 상승 및 리소스 낭비 발생. 요청량 급증 시 전체 시스템을 스케일링해야 하며, 모든 메시지가 분류를 위한 LLM 호출 비용(Classification Tax)을 지불하는 비효율적 구조임.
Technical Solution
- 플랫폼 레벨의 Inbound Rules를 활용하여 메일 수신 단계에서 전문 분야별 폴더로 자동 분배하는 Fan-out 구조 채택
- Sender 필드 기반의 결정론적(Deterministic) 라우팅을 통해 서버 사이드에서 즉시 처리하여 LLM 호출 비용과 지연 시간 제거
- 본문 및 제목 분석이 필요한 복잡한 케이스는 Webhook 기반의 별도 Worker가 처리 후 폴더를 이동시키는 하이브리드 분류 체계 구축
- 폴더별 독립적인 Worker 프로세스를 배치하여 서비스별 SLA 차등 적용 및 개별 수평 확장(Horizontal Scaling) 가능 구조 설계
- Folder ID 기반의 라우팅 시그널을 활용하여 별도의 Metadata 채널 없이도 내구성과 감사 추적(Audit Trail)이 가능한 큐 구조 구현
실천 포인트
1. 단순 패턴(발신자, 도메인 등) 기반 라우팅은 플랫폼 Rule로 처리하여 비용과 지연 시간 최소화
2. 비정형 데이터 분석이 필요한 경우에만 LLM 분류기(Classifier)를 제한적으로 운용
3. 각 라우팅 대상별로 독립적인 Worker를 구성하여 장애 격리 및 개별 스케일링 전략 수립
4. 라우팅 상태를 추적하기 위해 폴더 이동과 같은 물리적/논리적 상태 변경을 Audit Trail로 활용