Log-probability 누적 분석을 통한 LLM API 모델 스와핑 탐지

Context

API 제공자가 비용 절감을 위해 라벨과 다른 저사양 모델이나 과도한 Quantization 모델을 서빙하는 리스크 존재. 단순 출력 결과의 Perplexity 기반 검증은 저사양 모델의 단순한 텍스트 생성 특성으로 인해 오히려 낮은 수치를 기록하는 역효과 발생.

Technical Solution

• 자유 형식 답변 대신 특정 Token Sequence에 대한 Log-probability 값을 측정하는 Scoring Challenge 방식 도입
• 모델이 스스로 생성했을 법한 텍스트에 더 높은 확신도(Confidence)를 부여하는 특성을 이용한 모델 식별
• 단일 요청의 노이즈(Standard Deviation 0.07)를 극복하기 위해 10~15회의 요청을 통한 Running Average 값 계산
• Llama-cpp-python의 High-level API 오류를 해결하기 위해 Context에서 직접 Logits를 추출하여 Log-softmax를 직접 계산하는 로직 구현
• 정답 셋의 Perplexity 범위를 0.5~1.5 bits per byte로 설정하여 Scorer의 정상 작동 여부를 검증하는 Sanity-check 프로세스 적용