AI 기반 복잡 설계의 실패를 통한 100개 제한 Tag 시스템으로의 전환

Context

Neural Network, Neo4j, Elasticsearch를 결합한 과도한 AI 기반 지식 관리 시스템 설계 데이터 수집량 증가에 따른 관리 비용 상승 및 실제 활용률 저하로 인한 시스템 붕괴

Technical Solution

• Over-engineering된 AI/Graph DB 구조를 제거하고 Map과 Set 기반의 Simple Tag 시스템으로 전환
• 무분별한 데이터 적재 방지를 위해 maxArticles=100의 Hard Limit 설정 및 FIFO(First-In-First-Out) 기반 삭제 로직 구현
• content.substring(0, 500)을 통한 데이터 캡슐화로 정보 밀도 최적화 및 인덱싱 부하 감소
• 복잡한 Semantic Search 대신 단순 태그 필터링과 결과 개수 제한(Max 5)을 통한 빠른 응답성 확보
• '저장 후 24시간 내 읽기'와 '7일 내 적용'이라는 운영 제약 조건을 통해 시스템 데이터 품질 강제 관리

Impact

• 총 투자 시간 1,847시간 대비 실제 읽은 기사 비율 2.9% 확인을 통한 과잉 설계 검증
• 17차례의 버전 반복 끝에 10줄 내외의 JSON 기반 시스템으로 기존 AI 시스템 기능의 90% 대체

Key Takeaway

사용자 경험과 실제 활용도가 낮은 복잡한 기술 스택은 도구가 아닌 관리 대상이 되는 '프로젝트'로 전락함. 시스템의 효용성은 기술적 정교함이 아닌 제약 조건의 적절한 설정과 단순한 데이터 모델에서 발생함.