피드로 돌아가기
Dev.toAI/ML
원문 읽기
LLM Non-determinism 제거를 통한 상태 관리 Deterministic Layer 설계
Why I Don’t Let the LLM Decide Issue State
AI 요약
Context
마케팅 성과 모니터링 시스템에서 Issue State 결정을 LLM에 의존함에 따른 비결정론적 결과 발생. 프롬프트 문구에 따라 동일 데이터가 다르게 분류되어 주간 비교 분석의 신뢰성이 저하되는 한계 노출.
Technical Solution
- State Machine 도입을 통한 Issue Lifecycle의 결정론적 관리 구조 설계
- Numeric Issue에 대해 Threshold(기본 20%) 기반의 Delta 산출 로직 적용으로 WORSENING 및 IMPROVING 상태 판별
- Boolean Issue를 위한 별도의 단순화된 Lifecycle(NEW -> RECURRING -> RESOLVED) 분리 처리
- 데이터 누락 및 동기화 오류 대응을 위한 STALE 상태 정의로 False Positive 알림 방지
- Deterministic Layer(상태 결정)와 LLM Layer(설명 및 추천 생성)의 완전한 계층 분리 아키텍처 채택
- LLM을 결정 주체가 아닌, 확정된 상태 값에 기반한 자연어 설명 생성 도구로 한정적으로 활용
실천 포인트
- 상태 전이 로직이 수치나 규칙으로 정의 가능한지 검토하여 LLM 의존도 낮추기 - 데이터 누락 상황을 처리할 STALE과 같은 예외 상태를 설계하여 데이터 무결성 확보 - 시스템 감사(Audit)가 가능하도록 판단 근거가 되는 raw value와 threshold를 로그로 남기는 구조 설계