피드로 돌아가기
Dev.toAI/ML
원문 읽기
Gemma 4 CoT Leakage 해결을 위한 3단계 Sanitizer 및 MoE 기반 최적화
Shipping on Gemma 4: chain-of-thought leakage, MoE-vs-Dense, and on-device pragmatism
AI 요약
Context
Gemma 4의 강력한 Instruction Following 능력이 오히려 내부 추론 과정(CoT)을 사용자에게 노출하는 UX 버그를 유발함. 단순한 System Prompt 수정으로는 Soft Constraint 특성상 CoT Leakage를 완벽히 차단할 수 없는 한계가 존재함.
Technical Solution
- Anchor Detection: 정규식을 통한 'Final Answer' 등의 앵커 식별 및 이전 메타 데이터 전량 제거 로직 구현
- Paragraph-level Meta Filter: 빈 줄 기준 문단 분리 후 'drafting', 'revise' 등 계획성 동사가 포함된 프로세스 서술 문단 제거
- Line-level Scrubbing: 문단 내 잔존하는 'Intent', 'Tone check' 등 라벨 형태의 유출 패턴을 제거하는 안전장치 설계
- Context-aware Filtering: 'think' 단독 필터링을 배제하고 Planning Verb와의 조합을 분석하여 정당한 콘텐츠 손실 방지
- MoE-Dense Hybrid 전략: 4B Active 파라미터의 26B MoE를 기본값으로 설정하여 저지연성을 확보하고, 고난도 추론 시에만 31B Dense 모델을 선택하는 Toggle 구조 채택
- Stream-based Response: SocketTimeoutException 방지를 위해 generateContent 대신 generateContentStream을 사용하여 Read Timer 리셋 유도
실천 포인트
- LLM의 CoT 유출은 프롬프트가 아닌 Post-processing Sanitizer 단계에서 해결할 것 - 저지연 채팅 서비스 구축 시 Dense 모델보다 MoE 모델을 기본 아키텍처로 검토할 것 - SDK의 편의 메서드( .text ) 대신 Candidate Parts를 직접 순회하여 Partial Response 손실을 방지할 것 - 모델 백엔드 예외 처리 시 Serializer 오류 뒤에 숨겨진 상위 500 에러 체인을 분석하는 Mapper를 구현할 것