에이전트 AI의 안전 가드레일이 긴 문맥에서 희석되어失效하는 문제

Context

LLM은 벡터 공간에서 관련 영역을 탐색하며 텍스트를 생성한다. 시스템 프롬프트에 추가된 안전 가드레일은 다른 토큰과 동일하게 어텐션 경쟁에 참여한다. 컨텍스트가 길어질수록 최근 토큰이 어텐션을 독점하여 가드레일의 영향력이 점진적으로 약화된다.

Technical Solution

• 안전 가드레일 → 메인 모델의 컨텍스트와 분리하여 외부 검증기로 사용
• 소형 LLM(Overseer) → 초기화 시 가드레일만 포함하도록 설정
• 메인 모델 → 응답 생성 시마다 프롬프트-응답 쌍을 Overseer에게 전송
• Overseer → 응답이 가드레일 의도를 위반하는지 독립적으로 감지
• 컨텍스트 희석 문제 → 메인 모델의 성장하는 대화 맥락을 Overseer가 절대 참조하지 않도록 분리

Impact

정량적 수치 데이터 없음

Key Takeaway

가드레일을 컨텍스트 창 내부에 유지하려는 시도는 근본적으로 실패한다. 컨텍스트와 완전히 분리된 별도 아키텍처로 안전 검증을 구현해야 한다.