피드로 돌아가기
Dev.toAI/ML
원문 읽기
Gemma 4 26B를 활용한 불확실성 보존형 Review Packet 프롬프트 설계
Stop Asking Gemma 4 to Just Summarize
AI 요약
Context
기존 LLM의 Summary 방식은 정보를 압축하는 과정에서 원본의 불확실성을 제거하고 임의의 확신을 추가하는 경향이 있음. 특히 데이터 정합성 이슈와 같은 긴급 상황에서 사실과 추측을 혼재시켜 잘못된 의사결정을 유도하는 한계가 존재함.
Technical Solution
- Reasoning 구조 강화를 위해 Gemma 4 26B IT 모델의 Thinking Level을 High로 설정한 고밀도 추론 환경 구축
- 단순 요약(Summary) 대신 사실, 가정, 미검증 주장, 리스크를 분리하는 Review Packet 프레임워크 도입
- 'What not to conclude yet' 섹션을 강제하여 모델이 임의로 결론을 내리는 Hallucination 억제
- Temperature 0.25 설정을 통한 응답의 일관성 확보 및 무작위성 제어
- System Instruction을 배제하고 Prompt 자체에 행동 양식을 내재화하여 입력 데이터에 대한 모델의 직접적인 추론 성능 검증
- 데이터 상태를 'Confirmed Facts'와 'Unverified Claims'로 엄격히 구분하여 분석가의 검증 경로를 명확히 설계
실천 포인트
- 불확실한 데이터 분석 시 Summary 대신 [사실/가정/리스크/결론 금지 사항]으로 구분된 구조적 요청 수행 - 모델이 확신에 찬 어조로 답할 때 'What not to conclude yet' 항목을 추가하여 논리적 제동 장치 마련 - 복잡한 컨텍스트 추론이 필요할 경우 모델 파라미터 규모를 높이고(예: 26B) Thinking Level을 상향 조정 - 프롬프트 설계 시 'Do not invent facts'와 'Separate facts from assumptions'와 같은 제약 조건을 명시적으로 포함