Gemma 4 E2B의 num_ctx=2048 설정 시 발생하는 Multi-pass 자기 수정 현상 분석

Context

LLM의 입력 데이터 절단(Truncation) 시 모델이 이를 감지하고 교정하는 Calibration 능력을 검증함. 초기 가설은 입력 데이터의 형태나 손상 여부에 따른 모델의 반응이었으나, 실제로는 하이퍼파라미터 설정에 따른 결정론적 동작임이 밝혀짐.

Technical Solution

• num_ctx=2048 설정 시 단일 응답 내에서 '환각 기반 요약 $\rightarrow$ 자체 오류 지적 $\rightarrow$ 신중한 재시도' 순의 3단계 Multi-pass 구조 생성
• Temperature=0.0 설정 하에 동일 패턴이 반복되는 Configuration-deterministic 특성 확인
• num_ctx=32768 설정 시 입력 데이터의 형태(Syntactic/Semantic Damage)와 무관하게 Hedge 없이 확신에 찬 요약 수행
• 단순한 데이터 길이 인식(Length claim)이 아닌, 특정 Context Window 제한 상황에서 발생하는 모델 내부의 Peer Review 메커니즘 작동
• Ablation Study를 통한 H1~H4 가설 검증으로 입력 데이터 형상이 아닌 설정값에 의한 동작임을 증명