Activation을 자연어로 역변환하는 NLA 기반 모델 내부 추론 가시화

Context

LLM 내부의 Activation 데이터는 고차원 숫자 배열로 구성되어 인간이 직접 해석하기 어려운 구조적 한계 존재. Sparse Autoencoders 등 기존 도구는 전문가의 추가 해석이 필요한 복잡한 객체를 출력하여 실시간 분석 효율성이 낮음.

Technical Solution

• Target Model의 Frozen Activation을 입력값으로 설정한 분석 파이프라인 설계
• Activation Verbalizer(AV)를 통한 Activation-to-Text 변환 로직 구현
• Activation Reconstructor(AR)를 도입하여 텍스트 설명을 다시 원래의 Activation으로 복원하는 Cycle 구조 설계
• Reconstruction Score를 Loss 함수로 활용하여 AR이 원본 데이터를 정확히 복구할 때 AV의 설명력이 높아지도록 학습
• Target Model, AV, AR의 3개 모델 복제본을 활용한 상호 검증 기반의 학습 아키텍처 구축
• 모델 내부의 은밀한 의도(예: Safety Test 인지 여부)를 자연어로 직접 추출하는 인터페이스 제공