Activation Space 분석을 통한 Humanized AI 텍스트 98% 탐지 성공

Exploring the internal representations of Pangram 3.3.2

2026년 6월 25일2분advanced

AI 요약

Context

AI-generated 텍스트를 탐지 모델로부터 회피시키려는 Humanizer 도구의 확산으로 인한 탐지 성능 저하 발생. 기존 Binary Classification 기반 Readout 구조는 Humanized 텍스트의 고유 특성을 Human 텍스트로 오분류하는 한계 노출.

Technical Solution

1,900개 샘플(Claude 4.5, Gemini 2.5 Pro, GPT-5 기반)을 활용한 Humanizers Dataset 구축
Linear Probe를 통한 레이어별 Activation Space 내 텍스트 분포 분석
t-SNE, PCA, UMAP 등 Dimensionality Reduction 기법을 적용하여 Human/AI/Humanized 텍스트의 클러스터 분리 확인
최종 Readout의 Signal Collapse 현상을 해결하기 위해 AI, Human, Humanized를 구분하는 Three-way Linear Probe 설계
모델 내부 레이어에서 이미 텍스트 유형을 구분하는 고유 Feature가 생성됨을 입증한 구조적 분석

실천 포인트

1. Binary Classification 성능 저하 시 Internal Representation 분석을 통해 새로운 클래스 존재 여부 확인

2. t-SNE/UMAP 등 차원 축소 도구를 활용하여 데이터 간의 거리 및 클러스터링 경향성 검토

3. 특정 레이어에서 Feature가 수렴하는 지점을 파악하여 Linear Probe 최적 위치 선정

태그

#Dimensionality Reduction #Adversarial Tool #Activation Space #Linear Probe #Interpretability

원문 읽기