Naive Bayes와 TF-IDF 기반의 저사양 고효율 텍스트 분류 설계

Context

Deep Learning 및 Transformer 모델 부재로 인한 제한적인 연산 자원 상황을 가정함. 대규모 파라미터 학습 대신 통계적 확률 기반의 가벼운 분류 체계가 필요했던 시점의 기술적 한계를 분석함.

Technical Solution

• NLTK를 통한 Stopwords 제거 및 Tokenization으로 데이터 노이즈 최소화
• TF-IDF Vectorization을 적용하여 단어의 빈도와 역문서 빈도를 결합한 수치형 벡터 생성
• Multinomial Naive Bayes 알고리즘을 채택하여 텍스트 카테고리별 조건부 확률 기반의 고속 분류 수행
• Bag-of-Words 모델을 통해 문맥 의존성을 배제하고 핵심 키워드 중심의 특징 추출 설계
• Flask 프레임워크 기반의 REST API 구조를 구축하여 모델 추론 결과를 서비스 레이어에 실시간 제공
• 사전 정의된 레이블 셋을 활용한 지도 학습(Supervised Learning)으로 분류 정확도 확보