Show GN: AI한테 메일 맡기지 마라 — 인박스엔 비서가 아니라 '방화벽'이 필요하다 (오픈소스)

LLM-Scoring 기반의 결정론적 방화벽 구조를 통한 이메일 필터링 최적화

k082002026년 6월 30일2분intermediate

AI 요약

Context

기존 AI 이메일 도구가 초안 작성 및 자동 전송에 집중하여 오히려 인박스 노이즈를 증가시키는 한계 직면. LLM의 비결정론적 특성으로 인한 오작동 가능성과 제어 불능 상태를 해결해야 하는 과제 발생.

LLM의 역할을 의사결정이 아닌 확신도, 신뢰도, 가역성, 긴급도라는 4가지 정량적 점수 산출로 한정하는 Scoring 아키텍처 설계
산출된 점수를 사람이 정의한 결정론적 규칙(Deterministic Rule)에 매핑하여 SILENT, QUEUE, PUSH, AUTO의 4단계 처리 경로 결정
LLM 장애 시 동일한 점수를 생성하는 Keyword Fallback 메커니즘을 도입하여 시스템 가용성 확보
전송, 영구삭제 등 비가역적 액션 수행 시 Receipt 기반의 Deterministic Floor를 구축하여 바이트 단위 검증 후 실행
자율 경로에 Fail-closed 원칙을 적용하여 데이터 불일치 발생 시 즉시 실행을 차단하는 보안 구조 채택
복잡한 추론보다 일관된 신호 추출에 최적화된 경량 모델을 활용하여 GPT-4o 대비 비용 효율성과 정확도 개선

실천 포인트

1. LLM의 출력을 직접 실행 값으로 쓰지 않고 정량적 점수로 변환하여 검증 로직을 거치는지 확인

2. 비가역적 작업 수행 전 최종 상태를 스냅샷(Receipt)으로 고정하고 실행 시점에 무결성을 검증하는 단계 추가

3. 고성능 모델보다 작업 일관성이 높은 경량 모델의 벤치마크 성능을 우선 검토

태그