Shadow Mode 기반 검증으로 91.7%의 신호 Staleness 및 데이터 왜곡 식별

Context

신호 제공자가 스스로 성과를 보고하는 구조적 결함으로 인한 데이터 신뢰성 문제 발생. 자체 보고된 Win Rate는 생존 편향이 적용된 일부 레코드만 선택적으로 노출하여 실제 성과를 왜곡하는 한계 존재.

Technical Solution

• 외부 관찰자 시점의 Shadow Mode 파이프라인 설계를 통한 독립적 성과 측정 체계 구축
• DeepSeek LLM을 활용한 비정형 Telegram 메시지의 정형 데이터(Pair, Side, Entry, TP, SL) 추출 로직 구현
• 실시간 마켓 데이터 기반의 Staleness Check 단계 도입으로 정보의 가격 반영 여부를 판별하는 필터링 설계
• RSI, News, Fear and Greed Index 등 Regime Gate를 통한 Veto Filter 적용으로 진입 타당성 검증
• 일일 손실 제한 및 상관관계 분석을 포함한 Risk Budgeting 모듈을 통한 실행 가능성 최종 판단
• 실제 주문 없이 'would have entered at X' 형태로 로그를 남기는 Shadow Execution 아키텍처 채택

Impact

• 전체 수신 메시지 9,312건 중 실제 Tradeable한 신호는 14.2%(1,318건)에 불과함을 정량적으로 증명
• 파싱된 신호 중 91.7%(1,209건)가 이미 가격에 반영된 Staleness 상태임을 식별
• 생존 신호 중 79%가 단순 결과 보고 또는 유료 결제 유도 메시지임을 분석하여 데이터 노이즈 제거

Key Takeaway

성과 측정 주체와 실행 주체가 동일한 시스템은 구조적 맹점(Structural Blindness)을 가짐. 신뢰할 수 있는 검증을 위해서는 실행 주체가 조작할 수 없는 외부 관찰자(External Observer) 기반의 측정 환경 구축이 필수적임.