Intel Labs와 Hugging Face가 SetFitABSA를 개발해 프롬프트 없이 소량의 레이블 데이터로 Aspect-Based Sentiment Analysis를 학습할 수 있는 3단계 파이프라인 도입

Context

Aspect-Based Sentiment Analysis(ABSA) 모델 학습을 위해서는 토큰 레벨의 세밀한 수동 레이블링이 필수적으로 필요하며, 이는 시간과 비용이 많이 드는 작업이다. 또한 LLM 기반 방식은 핸드크래프트된 프롬프트에 의존하므로 결과가 문구에 민감하고 사용자 전문성에 따라 달라진다.

Technical Solution

• 3단계 파이프라인 도입: spaCy를 사용해 텍스트에서 명사/명사구 추출 → SetFit 이진 분류 모델로 Aspect 여부 판별 → 두 번째 SetFit 모델로 각 Aspect에 감정 극성(긍정/부정/중립) 할당
• Aspect 후보 분류 모델 학습: 템플릿 "aspect_candidate:training_sentence" 형식으로 학습 인스턴스 생성하여 SetFit 문장 분류 프레임워크를 토큰 레벨 분류에 적용
• 감정 극성 분류 모델 학습: 같은 템플릿 형식으로 추출된 각 Aspect에 대해 감정 라벨을 할당하는 두 번째 SetFit 모델 독립 훈련
• 프롬프트 제거: 핸드크래프트된 프롬프트 대신 소수의 레이블 텍스트 예시로부터 직접 Rich Embedding 생성
• 간소화된 데이터 포맷: 전문 태깅 도구 없이 간단한 데이터 형식으로 레이블링 프로세스 단순화

Impact

SetFitABSA는 Llama2, T5 등 생성형 모델과 비교해 few-shot 시나리오에서 경쟁 가능하거나 우월한 성능을 달성한다.

Key Takeaway

SetFitABSA는 프롬프트 엔지니어링 없이 최소한의 레이블 데이터로 도메인 특화 ABSA 모델을 구축할 수 있으며, 이는 대규모 LLM을 활용하지 않으면서도 정확한 토큰 레벨 분석이 필요한 고객 피드백 분석 등 실무 상황에서 데이터 레이블링 비용과 시간을 크게 단축할 수 있다는 점에서 가치가 있다.