AI 기반 Graph 구조에서 단순 Tag 시스템으로 전환하여 Retrieval 신뢰성 확보

Context

Neo4j, Redis, OpenAI Embeddings를 활용한 고복잡도 AI Knowledge Base를 구축했으나, 과도한 관리 오버헤드와 낮은 검색 신뢰도 문제 발생. AI의 문맥 이해력보다 데이터 정합성과 빠른 조회라는 기본 기능의 부재가 병목 지점으로 작용.

Technical Solution

• Neo4j와 Redis 기반의 복잡한 Graph Architecture를 제거하고 Map 기반의 단순 Key-Value 구조로 전환
• Embedding 기반 Semantic Search 대신 빈도수 분석을 통한 Keyword Extraction 기반의 Tagging 로직 도입
• AI Hallucination을 원천 차단하기 위해 단순 텍스트 매칭 방식의 Search-by-Tag 인터페이스 구현
• 데이터 누적 방지를 위해 Max-size 제한 및 Read-timeout 기반의 Auto-deletion 스케줄러 도입
• 읽지 않은 데이터의 우선순위 기반 제거를 통한 데이터 셋의 정제 및 관리 효율성 증대

Impact

• 시스템 구축 및 유지보수에 투입된 1,847시간 대비 실제 지식 활용률 2.9% 기록
• AI 기반 시스템 대비 검색 결과의 신뢰성 및 조회 속도 100배 수준의 체감 성능 개선

Key Takeaway

비즈니스 가치가 검증되지 않은 상태에서의 Over-engineering은 기술적 부채와 관리 비용만 증가시키므로, 최소 기능 단위의 단순한 아키텍처부터 시작하여 점진적으로 복잡도를 높이는 전략이 필수적임.