멀티레이어 필터링 및 LLM Cascade를 통한 제재 심사 F1 100% 달성

Context

단순 Fuzzy Matching 기반의 기존 도구들이 유발하는 90-95%의 False Positive 문제 분석. Jaro-Winkler 임계치 의존 방식에 따른 연간 1,300억 달러 규모의 분석 비용 낭비 발생.

Technical Solution

• Normalization 및 smartNormalize()를 통한 데이터 전처리 표준화
• FAISS MiniLM 기반 Semantic ANN Search 도입을 통한 1차 후보군 도출
• Jaro-Winkler, Monge-Elkan, Soft TF-IDF를 결합한 하이브리드 거리 측정 방식 적용
• Double Metaphone 기반 Phonetic Blocking으로 음성 유사도 기반 필터링 수행
• 특정 패턴(Patronymic, Substring Trap 등)을 타겟팅한 9개의 Penalty Layer 설계로 오탐지 제거
• Confidence Score 40-85% 구간의 모호한 결과물에 대해 LLM Cascade를 적용한 최종 판별

Impact

• Federal Reserve 벤치마크(F1 98.95%)를 상회하는 F1 100% 달성
• Recall 및 Precision 모두 100% 기록
• 비라틴 스크립트 및 개인 성명 등 고난도 테스트 케이스 145건 전수 통과

Key Takeaway

단일 알고리즘의 임계치 조정보다 정교한 전처리, 다층적 필터링(Penalty Layer), 그리고 고비용 LLM을 전략적 구간에만 배치하는 Cascade 구조의 결합이 정확도 극대화의 핵심임.