Semantic Extraction 도입을 통한 데이터 추출 정확도 95% 달성

Context

비정형 HTML 데이터 내 전화번호 추출을 위해 Regex 기반 파싱을 시도했으나, 다양한 포맷과 노이즈로 인해 70% 수준의 낮은 정확도 및 빈번한 False Positive 발생. Beautiful Soup와 spaCy NER를 통한 고도화를 시도했으나 엣지 케이스 처리 한계와 모델 학습 비용 증가로 인한 병목 지점 도달.

Technical Solution

• Pattern Matching에서 Semantic Extraction으로 패러다임을 전환하여 데이터의 외형이 아닌 문맥적 의미 파악
• Beautiful Soup를 이용한 Raw Text 추출 후 LLM API에 최적화된 크기의 Chunk 단위로 데이터 전달
• Low Temperature(0.1) 설정을 통한 생성 결과의 결정론적 일관성 확보 및 구조화된 JSON 포맷 강제
• AI 추출 결과물에 가벼운 Regex Validation Layer를 추가하여 데이터 무결성을 검증하는 Hybrid Pipeline 설계
• Prompt Engineering을 통해 추출 대상(전화번호, 이메일, 주소)과 출력 형식을 명시하여 추론 정확도 극대화

Impact

• 기존 Regex 방식 대비 추출 정확도를 95% 이상으로 향상
• 하이브리드 접근법 적용 시 AI 모델 단독 사용 대비 API 호출 비용 60% 절감 가능성 확인

Key Takeaway

비정형 데이터 추출 시 정교한 규칙 설계보다 문맥 이해 기반의 Semantic 접근이 효율적이며, 비용과 지연시간 최적화를 위해 'Regex(1차 필터링) $\rightarrow$ AI(정밀 추출)' 순의 계층적 파이프라인 구성이 필수적임.