피드로 돌아가기
Dev.toAI/ML
원문 읽기
LLM 개념의 방향성(Direction) 기반 저장 구조 증명 및 선형 중첩 확인
I ran an fMRI on LLMs: a concept is a direction, not a region
AI 요약
Context
뇌 과학의 국소적 영역 기반 정보 저장 방식과 LLM의 내부 활성화 매커니즘 간의 차이 분석 필요성 대두. 기존의 뉴런 단위 국소화 가설이 대규모 언어 모델의 실제 동작 방식과 일치하는지 검증하는 구조적 탐색 수행.
Technical Solution
- 개념 저장 방식을 특정 뉴런 집합이 아닌 활성화 공간 내의 단일 방향(Direction)으로 정의하는 설계적 관점 제시
- Residual Stream을 공유 가산 버스로 활용하여 레이어 전반에 걸쳐 개념 정보를 선형적으로 합산하는 메커니즘 확인
- 특정 방향의 벡터 성분을 조절하는 Steering 기법을 통한 개념 제어 및 RMSNorm에 의한 크기 무관성 증명
- Linear Probe를 통해 다수 카테고리가 동일 공간 내에 선형적으로 중첩(Superposed)되어 병렬 처리되는 구조 분석
- 비선형 MLP Probe 대비 Linear Direction의 성능 우위를 통한 개념의 Rank-1 특성 검증
- 물리적 임베딩 제약 부재로 인한 Transformer의 낮은 모듈성(Modularity)과 뇌 구조의 차이 규명
실천 포인트
1. 모델 제어를 위해 특정 뉴런을 수정하기보다 활성화 공간의 Steering Vector를 추출하여 적용할 것
2. 개념의 복잡도(차원수)에 따라 모델의 조종 가능성이 달라짐을 인지하고 제어 전략을 수립할 것
3. Residual Stream의 가산적 특성을 활용하여 레이어 간 정보 흐름을 최적화할 것