Deterministic Guard 도입으로 LLM Hallucination 원천 차단 및 신뢰성 확보

Context

LLM 기반 에이전트가 입력값의 null 상태를 인지하지 못하고 그럴듯한 가공 데이터를 생성하는 Hallucination 발생. 단순한 에러 발생이 아닌 구조화된 오답을 생성함에 따라 다운스트림 시스템까지 잘못된 데이터가 전파되는 설계상 취약점 노출.

Technical Solution

• Model Call 이전 단계에 결정론적(Deterministic) 검증 로직을 배치한 Guard 레이어 설계
• Subject 필드의 존재 여부 및 Non-empty 상태를 확인하는 12라인의 단순 체크 코드 구현
• 비정상 입력값 발견 시 LLM으로의 요청을 즉시 차단하고 별도의 Hold Queue로 라우팅 처리
• Human-in-the-loop 구조를 통해 큐에 적재된 데이터를 사람이 직접 검토하고 처리하는 운영 프로세스 구축
• 모델의 프롬프트 수정이나 재학습 대신 입력 경계(Boundary)를 설정하여 예측 불가능한 출력을 원천 제거