Gemma 4 E4B: 128K Context Recall 완벽 구현 및 Prefill 지연 분석

Context

Consumer GPU 환경에서 대규모 Context Window 모델의 실제 가용성 검증 필요성 증대. 단순 스펙상의 Context 크기가 실제 추론 속도 및 기억력(Recall)과 일치하지 않는 불일치 현상 발생.

Technical Solution

• Needle-in-a-haystack 테스트를 통한 Context 위치별 데이터 회수율 정밀 측정
• Prefill Phase와 Generation Phase를 분리하여 Token 처리 속도 및 지연 시간 분석
• VRAM 8GB 제약 조건 내에서 K/V Cache 점유율에 따른 성능 저하 지점 파악
• Context 크기 증가에 따른 Time to First Token(TTFT)의 선형적 증가 추세 확인
• 모델 크기 대비 Context Window 확장성을 고려한 하드웨어 최적화 가능성 검토
• 하드웨어 제약 사항을 반영하여 Interactive, Research, Batch의 세 가지 UX Zone 정의

Impact

• Recall Rate: 5K에서 100K Context까지 5/5(100%)의 완벽한 데이터 회수 성능 기록
• Generation Throughput: 5K(9.2 tok/s) 대비 100K(6.8 tok/s)에서 26% 수준의 성능 하락에 그침
• TTFT: 5K(4s)에서 100K(72s)로 Context 크기에 비례하여 지연 시간 급증
• VRAM: 100K Context 기준 약 7.4GB의 메모리 점유 확인

Key Takeaway

Context Window의 성능은 단순 수용 용량이 아닌 Recall, Throughput, TTFT의 세 가지 지표로 다각도 분석 필요. 특히 Consumer GPU 환경에서는 Prefill 단계의 연산 부하가 사용자 경험의 결정적 병목 지점이 됨.