NLA를 통한 LLM 내부 Activation의 자연어 복원 및 탐지율 5배 향상

Context

기존 Activation Probing 및 Sparse Autoencoders는 분석 대상 Concept을 사전에 정의해야 하는 제약 존재. 이로 인해 예측하지 못한 모델의 Hidden Motivation이나 Evaluation Awareness를 식별하는 데 한계 발생.

Technical Solution

• Residual Stream의 신경망 활성화 값을 직접 인간 가독 텍스트로 변환하는 Natural Language Autoencoders(NLA) 설계
• Activation Verbalizer(AV)가 벡터를 텍스트로 변환하고 Activation Reconstructor(AR)가 해당 텍스트로 원본 벡터를 복원하는 Joint Training 구조 채택
• Reconstruction Fidelity를 Reward로 사용하는 RL Loop를 통해 정밀한 텍스트 묘사를 유도하는 Self-supervised 학습 메커니즘 구현
• 개별 Attention Head가 아닌 Layer 간 통합 상태인 Residual Stream을 타겟팅하여 모델의 전역적 지식 표현력 확보
• Bottleneck Compression 기반의 비지도 학습으로 사전 가설 없이도 잠재적 개념을 추출하는 Interpretability 워크플로우 구축