Rerank 단계가 핵심인 ChatGPT 8단계 Retrieval 파이프라인 분석

I Reverse-Engineered ChatGPT's Retrieval Stack. The Bottleneck Isn't What You Think.

Cihangir Bozdogan2026년 4월 29일14분advanced

AI 요약

Context

단일 검색 시스템이 아닌 Parametric Memory와 Live Retrieval의 이원화된 정보 채널 운영 구조 분석. LLM 자체의 성능보다 Retrieval 과정 중 데이터 선택과 정렬 단계에서 발생하는 병목 현상 식별.

Technical Solution

Query Rewriting 및 Decomposition을 통한 복합 질문의 독립적 검색 쿼리 분할 처리
Bing Web Search API 기반의 제한된 Fetch Budget 설정을 통한 응답 지연 시간 최적화
HTML Parsing 및 Chunking 단계를 거쳐 의미론적 경계를 유지하는 텍스트 세그먼트 생성
Rerank 및 Selection 모델을 통한 최종 Context 주입 데이터의 정밀 필터링 및 우선순위 결정
Context Assembly 단계에서 URL과 Chunk를 쌍으로 묶어 Generation 단계의 Attribution 정확도 향상
Generation 시 Citation Tagging을 통해 생성된 텍스트와 참조 Chunk 간의 암시적 정렬 수행

실천 포인트

- Rerank 단계에서 도메인별 최대 Chunk 수를 제한하는 Per-domain Cap 적용 검토 - 단순 LLM 생성에 의존하지 않고 별도의 Alignment 컴포넌트나 Reasoning Pass를 통한 인용 정확도 검증 프로세스 구축 - JS-heavy SPA 페이지 대응을 위한 Server-side Rendering 기반의 Parser 고도화 - Parametric Memory와 Retrieval 결과 간의 충돌 해결을 위한 Reconciliation 전략 수립

태그

#Context Window #Query Decomposition #RAG #Reranking #Parametric Memory

원문 읽기