LLM 수치 생성 배제로 통계 분석의 Determinism 확보

Context

LLM Agent가 통계 분석 시 정규성 검정 생략 등 비결정적 판단으로 매 실행마다 다른 p-value를 산출하는 문제 발생. Temperature=0 설정에도 불구하고 Inference 비결정성과 모델 가중치 기반의 확률적 분석 경로 선택으로 인해 결과의 재현성 확보가 불가능한 한계 노출.

Technical Solution

• LLM의 역할을 '수치 계산'에서 '분석 경로 라우팅'으로 제한하는 Separation of Concerns 설계
• 27종의 하드코딩된 Deterministic Plugin을 통한 scipy/statsmodels 기반의 수치 계산 강제
• LLM이 직접 숫자를 출력하지 못하게 차단하고 Plugin 결과값만 참조하는 Claims Ledger 패턴 도입
• 자연어 요청을 분석하여 적절한 통계 플러그인을 매핑하는 LLM Supervisor 구조 구축
• 플러그인 수가 증가할 때의 Context 부하를 방지하기 위한 2단계 계층적 라우터(Family $\rightarrow$ Specific Plugin) 설계안 적용