DuckDB 기반 Columnar Storage를 통한 1,000만 건 거래 이상 탐지 시스템 구축

Context

기존 Threshold-based 시스템의 과도한 False Positives 발생으로 인한 탐지 정확도 저하 문제 발생. 1,000만 건 이상의 대규모 트랜잭션 데이터셋에서 실시간성을 유지하며 정밀한 분석을 수행해야 하는 기술적 제약 존재.

Technical Solution

• 단순 조건문 대신 Transaction Amount, Temporal Velocity, Regional Risk Deltas를 결합한 가중치 기반 Risk Scoring 엔진 설계
• 메모리 효율 극대화를 위해 DuckDB의 Columnar Storage Engine을 도입하여 전체 데이터 로드 없는 효율적 스캔 구조 구현
• 다차원 벡터 분석을 통한 고정밀 Risk Score 할당으로 탐지 정확도 향상
• 분석가 가시성 확보를 위한 컬러 맵핑 기반의 Anomaly Highlight Investigation Deck 구축
• Sub-second 응답 시간 달성을 위한 데이터 접근 최적화 전략 적용