동일 모델·다른 결과, LLM의 행동을 결정짓는 환경의 힘

Context

동일한 Foundation Model을 서로 다른 두 환경에서 실행 시 출력 결과가 체계적으로 다르게 나타나는 현상 발견. 도구 접근 권한과 사전 로드된 컨텍스트의 차이가 모델의 답변 구조를 결정함. 정답이지만 차원적으로 불완전한 답변이 생성되는 한계 발생.

Technical Solution

• 사전 로드된 컨텍스트를 통한 모델 프라이밍(Priming) 전략 적용
• 구조적 프로토콜과 대화 이력 등 환경별 초기 컨텍스트 차이에 따른 검색 방향성 제어
• 도구 응답 순서가 모델의 답변 프레임을 결정하는 Affordance 효과 관리
• 단순 레이블 기반 검색에서 실제 저장 콘텐츠 전체를 임베딩하는 방식으로 retrieval 구조 변경
• 질문 분석 전 단계에서 발생하는 환경적 편향(Pre-retrieval Bias) 제거를 위한 컨텍스트 재설계

Impact

• 레이블 기반 검색 방식에서 발생하던 테스트 질문 실패율 35%를 콘텐츠 임베딩 도입으로 완전히 해소

Key Takeaway

LLM의 성능은 모델 자체보다 질문 전 단계의 컨텍스트 구성과 도구의 Affordance에 의해 결정됨. 단순한 데이터 접근 권한 부여보다 모델의 사고 체계를 유도하는 사전 컨텍스트 설계가 더 중요함.