피드로 돌아가기
Why your AI coding agent ships confident, slightly-wrong code (and why rewording the prompt never fixes it)
Dev.toDev.to
AI/ML

Prompt Wording에서 Structural Grounding으로의 전환을 통한 AI Hallucination 제거

Why your AI coding agent ships confident, slightly-wrong code (and why rewording the prompt never fixes it)

Anisa2026년 6월 28일4intermediate

Context

AI Coding Agent가 코드베이스에 존재하지 않는 Method를 생성하는 Hallucination 발생. 기존의 단순 제약 조건 추가(Negative Prompting) 방식은 모델의 Working Memory 한계로 인해 복잡도가 증가할수록 규칙을 누락하는 구조적 결함 노출.

Technical Solution

  • Forbidden Rules 기반의 제어 방식을 Ordered Procedure 기반의 실행 구조로 변경
  • Code Generation 전 단계에 API 및 Method의 정의 위치(File, Line)를 명시하는 Grounding 단계 강제 설계
  • 정의되지 않은 Method 발견 시 코드 작성을 즉시 중단하고 사용자에게 질의하도록 프로세스 정의
  • 추론 단계에서는 Prose 형태의 자유로운 사고를 허용하고, 최종 출력 단계에서만 정형 데이터 구조를 적용하여 Reasoning 성능 보존
  • 단순한 단어 수정이 아닌, '검증 -> 확인 -> 작성'으로 이어지는 논리적 Pipeline 구축을 통한 오류 원천 차단

- 'Don't do X' 형태의 부정 명령어를 'Do Y to verify' 형태의 실행 단계로 전환 - 생성 전 단계에 반드시 근거(Quote)를 제시하는 Grounding 프로세스 삽입 - 복잡한 규칙 나열 대신 단계별 순차적 절차(Step-by-step procedure) 설계 - LLM의 Reasoning 과정에 제약을 주는 JSON Schema 적용 시점은 최종 결과물 단계로 후행 배치

원문 읽기