Discord가 Osprey 이벤트 스트림 판단 엔진을 오픈소스로 공개하며 초당 230만 규칙 평가를 실현

Context

기존 보안 규칙 엔진은 단일 서버 구조로 인해 수평적 확장성에 한계가 있었다. 수백만 건의 일일 이벤트를 실시간으로 분석하려면 대규모 배포 환경이 필요했다.

Technical Solution

• Osprey 이벤트 스트림 판단 엔진 → 초당 230만 규칙 평가 처리
• Rust 코디네이터 → 비동기 이벤트 스트림 및 gRPC 요청 관리
• 상태 없는 Python 워커 → SML 규칙을 AST로 파싱 후 병렬 실행
• ETCD를 통한 규칙 배포 → 배포 중단 없이 실시간 업데이트
• Docker 컨테이너화 → 워커 노드数の 동적 조절 가능

Impact

초당 처리 규칙 수: 230만 건. 일일 처리 이벤트: 4억 건. 초기 도입 네트워크: Bluesky, Matrix.org.

Key Takeaway

Rust 데이터 플레인과 Python 컨트롤 플레인 분리는 고처리량 시스템의 표준 패턴으로 자리 잡았다.