피드로 돌아가기
Dev.toAI/ML
원문 읽기
Deterministic Judgment와 Gemini LLM을 결합한 교육 기반 자율 판단 시스템 설계
After Turing- teach a machine to judge, then watch it act alone
AI 요약
Context
단순한 LLM의 모방 능력을 넘어 인간의 판단 기준을 학습하고 이를 자율적으로 실행하는 메커니즘 구현 필요. LLM의 비결정론적 특성으로 인한 결과 예측 불가능성과 API 가용성 문제를 해결해야 하는 상황.
Technical Solution
- 결정론적 판단을 위해 Player의 선택지를 Doctrine Record로 정량화하여 저장하는 State Management 설계
- LLM에 판단 권한을 부여하지 않고, 결정된 결과(Verdict)와 학습 이력을 바탕으로 추론 과정만 생성하는 Reasoning Layer 분리 구조 채택
- API Key 노출 방지를 위해 Vercel Serverless Function을 통한 Backend Proxy 계층 구축
- gemini-1.5-flash 모델의 503 UNAVAILABLE 오류 대응을 위한 Retry 로직 및 Gemini Flash Family 내 Fallback 전략 구현
- 학습 데이터의 일관성을 측정하여 최종 단계에서 5/5 혹은 2/5 등의 점수로 환산하는 Scoring Logic 적용
실천 포인트
- LLM의 할루시네이션 방지를 위해 '결정(Decision)'과 '설명(Reasoning)'의 책임 영역을 엄격히 분리할 것 - 외부 API 의존성이 높은 서버리스 환경에서 서비스 가용성 확보를 위한 Fallback 모델 리스트를 사전에 정의할 것 - 보안 민감 정보인 API Key는 반드시 서버 사이드 환경 변수로 관리하고 클라이언트 노출을 차단할 것