AI 문서 어시스턴트를 위한 RAG 대체 가상 파일시스템 구축

Context

임베딩 기반 RAG의 단어 유사도 의존성으로 인한 부정확한 코드 조각 추출 문제 발생. 디렉터리 계층 구조라는 기존 지식 그래프의 활용 방안 부재. 컨테이너 격리 기반 시스템의 과도한 메모리 점유 및 운영 비용 증가.

Technical Solution

• 도메인별 파일 시스템 구조를 활용하여 LLM이 직접 디렉터리 트리를 탐색하는 계층적 검색 방식 도입
• Postgres 기반의 Virtual File System(VFS)을 구축하여 문서를 파일 및 디렉터리 형태로 투영하는 설계
• grep, bm25, jq 등 CLI 도구와 Pydantic AI를 결합하여 에이전트가 ad-hoc 쿼리를 직접 실행하는 구조
• POSIX 셸 일부를 TypeScript로 에뮬레이션하여 불필요한 추론 사이클과 Latency 증가를 억제한 최적화
• voyage contextual embedding과 reranking 공정을 결합하여 데이터 품질과 검색 정확도를 동시에 확보하는 전략
• FUSE 미러링 대신 읽기 전용 문서 탐색에 최적화된 가벼운 셸 명령 지원 방식으로 구현 복잡도 제거

Impact

• 에이전트가 디렉터리 구조 파악 후 정확한 파일 요청까지 소요되는 시간 30초 달성
• 월 85만 건 대화 기준 연간 7만 달러 이상의 인프라 비용 발생 확인

Key Takeaway

단순 벡터 유사도 검색보다 데이터가 가진 고유의 계층 구조와 메타데이터를 활용한 Agentic Search가 복잡한 코드베이스 탐색에 더 효율적임.