Reactive Hint를 Proactive Introspection으로 전환하여 SQL Hallucination 루프 해결

The Confabulation Cascade: When Your Agent Learns Nothing From Its Own Mistakes

Nic Lydon2026년 6월 23일5분intermediate

AI 요약

Context

191개 테이블 규모의 Postgres 스키마를 다루는 Agent가 모델 내부의 강한 Schema Prior로 인해 오류 수정 후에도 동일한 잘못된 컬럼명을 반복 생성하는 Confabulation Cascade 현상 발생. 사후 교정 중심의 Reactive Schema Hint 구조로 인해 Agent가 정답을 찾기 위해 반드시 실패를 거쳐야 하는 설계적 한계 노출.

Technical Solution

실패 후 힌트를 제공하는 Reactive 방식에서 사전 검증이 가능한 Proactive Introspection 구조로 전환
describe_table 도구를 신설하여 Agent가 쿼리 작성 전 information_schema.columns를 직접 조회하도록 설계
정규표현식을 통한 Input Sanitization 적용으로 SQL Injection 공격 표면 제거
테이블 미존재 시 findSimilarTables 로직을 통해 유사 테이블을 제안하는 Fallback 메커니즘 구현
LLM의 Training Prior보다 우선순위가 높은 Authoritative Schema 데이터를 명시적 Context로 주입하여 추론 경로 최적화

실천 포인트

1. Agent가 외부 데이터 스토어와 상호작용 시 '실패를 통해서만 학습하는 구조'인지 확인

2. 모델의 가중치(Prior)와 충돌하는 동적 정보가 있을 때, 이를 강제할 수 있는 명시적 조회 도구(`describe` 등) 제공 여부 검토

3. 단순 Prompt Engineering을 통한 교정보다 시스템 수준의 Tool API 확장을 통한 제약 조건 설정 우선 고려

태그

#Introspection #Tool Design #Postgres #Hallucination #LLM-Agent

원문 읽기