P1 시그널 감지 후 실행까지 11.8분 달성하는 실시간 파이프라인 설계

Context

데이터 확보 여부보다 수집된 데이터가 실제 액션으로 이어지는 시간 간격(Signal-to-Action Gap)의 지연으로 인한 기회 손실 발생. 소스별 상이한 데이터 포맷과 비정형 시그널 처리 방식에 따른 시스템 복잡도 증가 및 처리 지연이 주요 병목 지점으로 작용.

Technical Solution

• Boundary 단계에서 Source-specific Adapter를 통해 모든 입력을 Unified Schema로 변환하여 코어 로직의 복잡도 제거
• Redis 기반의 Signal Aggregator를 도입하여 일정 시간 윈도우 내 중복 시그널을 통합함으로써 불필요한 파이프라인 실행 횟수 최적화
• Context Enrichment 레이어를 Decision Engine 전단계에 배치하여 LLM이 판단에 필요한 CRM 및 딜 히스토리 정보를 사전 확보하도록 설계
• 결정론적 Rule-based 경로를 우선 처리하고 복잡한 추론이 필요한 경우에만 LLM을 사용하는 계층적 의사결정 구조 채택
• Action Queue를 통한 우선순위 기반 실행 및 실행 결과의 피드백 루프를 구축하여 시그널 가중치를 동적으로 조정하는 모델 구현

Impact

• P1 시그널 기준 큐 진입까지 평균 4.2분, 최종 실행까지 평균 11.8분 소요
• P2 시그널 기준 큐 진입까지 평균 9.1분, 최종 실행까지 평균 14.4분 소요
• 전체 프로세스를 15분 이내로 유지하는 SLA 준수 체계 구축