Inverted Index와 TF-IDF 기반 O(1) 검색 시스템 구현

Context

전체 문서의 모든 단어를 탐색하는 O(n) 방식의 비효율적인 검색 구조를 개선하고자 함. 대규모 문서 집합에서 특정 키워드를 빠르게 탐색하기 위한 인덱싱 최적화 필요성 대두.

Technical Solution

• Document-to-Word 관계를 Word-to-Document로 뒤집은 Inverted Index 구조를 설계하여 검색 시간 복잡도를 O(1)로 단축
• 데이터 일관성 확보 및 인덱스 크기 최적화를 위해 Punctuation 제거, Lowercasing, Stop words 제거를 포함한 Normalization 파이프라인 구축
• Lemmatizer 대비 메모리 사용량을 낮추기 위해 Stemmer를 채택하여 단어의 어근을 추출하는 전처리 프로세스 적용
• 검색어 쿼리에 대해 Intersection(교집합) 연산을 우선 수행하고, 결과 부재 시 Union(합집합)으로 확장하는 폴백 전략 구현
• TF-IDF(Term Frequency-Inverse Document Frequency) 알고리즘을 적용하여 단순 매칭을 넘어선 문서별 관련도 기반의 Ranking 시스템 구축
• 데이터 변환 단계의 독립성과 재사용성을 보장하기 위해 Pipe and Filter 아키텍처 패턴 적용