피드로 돌아가기
GeekNewsAI/ML
원문 읽기
Show GN: Klorn – 중요한 것만 빼고 다 조용히 시키는 오픈소스 이메일 방화벽
LLM 수치 기반 고정 규칙 엔진을 통한 80% 정확도의 이메일 방화벽 설계
AI 요약
Context
AI 기반 메일 도구가 기능을 추가하며 오히려 인박스의 복잡도를 높이는 현상 발생. 모델의 가변적 결정으로 인한 결과 불일치와 데이터 변조 가능성을 해결해야 하는 제약 조건 존재.
Technical Solution
- LLM의 직접적 결정을 배제하고 확신도, 신뢰도, 가역성, 긴급도라는 4가지 정량적 수치만 추출하는 구조 설계
- 추출된 수치를 고정된 규칙 기반 엔진(Rule-based Engine)으로 처리하여 모델 변경 시에도 결과 일관성 유지
- LLM 장애 및 Rate Limit 상황에 대비한 키워드 기반 Fallback 매커니즘 구축을 통한 가용성 확보
- 입력값(From, Subject, Snippet)의 해싱 저장을 통한 데이터 무결성 검증 및 판단 결과의 임의 변경 차단
- 위험 액션 실행 시 Payload 고정 및 재검증 단계를 통한 보안성 강화 및 오동작 방지
- OpenAI 호환 API 인터페이스 채택으로 Ollama, vLLM 등 다양한 LLM 런타임 선택권 제공
실천 포인트
1. LLM 응답의 비결정성(Non-determinism) 해결을 위해 수치형 데이터 추출 후 고정 로직 적용 검토
2. API 장애 시나리오를 고려한 정적 규칙 기반의 Fallback 경로 설계
3. 중요 상태 변경 시 입력값 해싱을 통한 데이터 무결성 검증 프로세스 도입