문서 구조 최적화 통한 LLM 정밀 검증으로 15개 잠재 버그 제거

Documentation is code: LLMs don’t actually read it — and honestly, neither do we

Sergey Shkuratov2026년 6월 2일4분intermediate

AI 요약

Context

문서 규모 증가에 따른 LLM의 Keyword Scanning 현상으로 인해 예외 사항 및 제약 조건을 누락하는 Silent Drift 발생. 단순한 문서 존재만으로는 코드와 설계 간의 일관성 유지가 불가능한 아키텍처적 한계 직면.

Domain 기반 문서 분리를 통한 상호 독립적 컨텍스트 구축 및 개별 Requirement ID 부여를 통한 추적성 확보
Requirement와 Verification 영역을 엄격히 분리하여 LLM의 추출 단계에서 발생하는 Hallucination 제거
Subsystem Registry와 Digest Builder 스크립트를 구축하여 파편화된 파일을 단일 Consolidated Document로 병합
LLM이 폴더 구조를 탐색하는 대신 단일 Digest를 정독하게 함으로써 컨텍스트 손실 최소화
Task별 Selection Rules를 정의하여 에이전트에 투입할 최적의 Digest 조합을 결정하는 매커니즘 설계

실천 포인트

1. Requirement와 Verification 문서를 물리적으로 분리했는가

2. Subsystem별로 단일화된 Digest 파일을 생성하는 자동화 파이프라인이 있는가

3. 각 요구사항에 고유 ID를 부여하여 추적 가능성을 확보했는가

4. LLM에게 제공할 컨텍스트 선택 규칙(Selection Rules)이 정의되어 있는가

태그