AI Safety & Guardrails Kit

Context

LLM 기반 기능을 프로덕션에 배포할 때 악의적인 입력(프롬프트 인젝션, 탈옥 시도), 민감한 정보 유출(PII), 사실 왜곡(할루시네이션), 정책 위반 콘텐츠 등 여러 보안·규정 위험에 직면한다.

Technical Solution

• PromptInjectionDetector로 프롬프트 인젝션 공격과 탈옥 시도를 threshold 0.85로 탐지 (휴리스틱 + 분류 모델 결합)
• PIIRedactor가 이메일, 전화번호, SSN, 신용카드 등을 마스킹/제거/해시 처리하여 입력과 출력 양쪽에서 PII 제거
• ToxicityFilter로 혐오 발언, 괴롭힘, 자해, 성적 콘텐츠 등 5개 카테고리를 category별 임계값(예: 혐오 0.6, 자해 0.5)으로 스코어링
• HallucinationDetector가 NLI(Natural Language Inference) 방식으로 LLM 출력을 소스 문서와 교차 검증하여 근거 없는 주장 플래깅
• ContentPolicy를 YAML 기반 규칙 객체로 정의하여 차단 주제, 필수 면책문, 출력 형식 제약을 프로그래밍 방식으로 강제
• StreamFilter가 버퍼 크기 50 토큰으로 스트리밍 응답의 청크 단위 필터링 지원
• 모든 필터 결정(타임스탐프, 스코어, 트리거 규칙)을 Audit Log로 기록하여 규정 준수(sqlite/postgres/파일 저장소, 365일 보관)

Impact

아티클에서 정량적 성능 수치나 측정 결과가 명시되지 않았습니다.

Key Takeaway

LLM 애플리케이션의 보안은 단일 필터가 아닌 계층화된 방어(휴리스틱 + 분류 모델, 입력 + 출력 파이프라인)로 구성해야 하며, 모든 차단 결정은 규정 감시와 사용자 경험을 위해 감사 가능해야 한다는 설계 원칙을 제시한다.