LLM Long Context Window 기반의 Brady Flag Framework를 통한 증거 검토 자동화

Automating the Brady Hunt: AI for Exculpatory Evidence Review

Ken Deng2026년 4월 18일2분intermediate

AI 요약

Context

수천 페이지에 달하는 방대한 Discovery 데이터의 수동 검토로 인한 시간적 제약과 누락 위험 발생. 기존의 단순 키워드 검색 방식으로는 복잡한 법적 맥락을 포함한 Exculpatory Evidence를 효율적으로 식별하기 어려운 한계 존재.

Long Context Window 모델인 Claude를 활용하여 대규모 PDF 및 Transcript 데이터셋 전체를 컨텍스트에 주입하는 구조 설계
'분석'이 아닌 '식별'에 집중하여 AI의 할루시네이션을 방지하고 정확도를 높인 Brady Flag Framework 도입
사용자가 정의한 법적 카테고리 및 관련 키워드/개념 세트를 AI에게 사전 주입하여 필터링 기준을 명확히 정의
원문 인용(Quote) 기반의 텍스트 세그먼트 추출 로직을 통해 검토자의 검증 가능성을 확보한 큐레이션 프로세스 구축
AI의 1차 스캐닝과 전문가의 최종 법적 판단을 분리한 Human-in-the-loop 파이프라인 구성

LLM을 의사결정 주체가 아닌 고성능 필터링 엔진으로 정의하여 데이터 처리 속도와 판단의 신뢰성을 동시에 확보하는 설계 전략

실천 포인트

1. LLM 도입 시 분석과 식별의 역할을 엄격히 분리하여 결과의 결정론적 신뢰성 확보 여부 검토

2. 대용량 문서 처리 시 RAG 기반의 파편화된 검색보다 Long Context Window를 통한 전역적 맥락 파악이 유리한지 분석

3. AI 출력물에 반드시 원문 근거(Source Quote)를 포함시켜 최종 검증 단계의 비용을 최소화하는 인터페이스 설계

태그