LLM의 무상태성 극복을 위한 Explicit Context 기반 비교 학습 설계

LLM needs to generate/search in order to compare. Silently answer my question is a lie.

gitdexgit2026년 4월 30일5분intermediate

AI 요약

Context

LLM은 내부 메모리에 정답을 저장하지 않고 토큰을 생성하는 구조적 특성을 가짐. 사용자가 정답 생성을 생략한 채 가이드만을 요청할 경우, 비교 대상이 없는 상태에서 확률적 텍스트만 생성하는 Hallucination 발생 가능성이 높음.

LLM의 무상태성을 보완하기 위해 정답 데이터를 Context Window에 명시적으로 포함하는 설계 채택
CoT(Chain of Thought)의 불확실성을 제거하기 위해 정답을 먼저 생성하거나 외부 정답지를 주입하는 Explicit Generation 방식 도입
정답-사용자 답변 간의 Gap 분석을 통해 Socratic Method 기반의 피드백 루프 구현
단순 텍스트 일치가 아닌 Intent 기반의 Semantic Comparison 로직을 통해 학습 유연성 확보
비용 최적화를 위해 무분별한 Google Search 연동 대신 정제된 Context 주입 방식을 우선 적용
사용자가 정답을 보지 않도록 출력 형식을 제어하는 User-LLM Contract 정의

실천 포인트

1. LLM에게 '속으로 생각하라'는 지시 대신 CoT나 Explicit Output을 통해 추론 과정을 물리적으로 생성하게 했는가?

2. 비교 및 분석 작업 시, 비교 대상이 되는 Ground Truth가 Context Window 내에 명확히 존재하는가?

3. 엄격한 토큰 일치(Exact Match) 대신 의도 기반(Intent Match)의 검증 로직을 설계했는가?

4. 외부 API 호출 비용과 성능 사이의 Trade-off를 고려하여 최적의 Context 주입 시점을 결정했는가?

태그