금융 산업 전문가들이 Open FinLLM Leaderboard를 구축해 일반 NLP 벤치마크 대신 금융 특화 태스크 7개 카테고리로 LLM 평가 체계 전환

Context

기존의 일반 NLP 벤치마크(번역, 요약 등)는 주가 예측, 신용 위험 평가, 금융 보고서 정보 추출 등 금융 산업의 특수한 요구사항을 제대로 반영하지 못했습니다. 금융 부문의 LLM 모델 성능을 정확하게 평가할 수 있는 전문화된 평가 프레임워크가 필요했습니다.

Technical Solution

• 금융 특화 태스크 7개 카테고리로 평가 구조 설계: Information Extraction(IE), Textual Analysis(TA), Question Answering(QA), Text Generation(TG), Risk Management(RM), Forecasting(FO), Decision-Making(DM)
• 실제 금융 데이터 사용: 규제 공시, 계약서, 실적 발표 보고서 등 금융 산업의 실제 도전 과제를 반영한 데이터셋으로 평가
• Zero-shot 평가 방식 도입: 사전 파인튜닝 없이 미처리 금융 태스크에서 모델의 일반화 능력과 금융 맥락 성능 검증
• IE 태스크에서 NER, 관계 추출, 인과 관계 분류로 세분화하여 금융 엔티티, 관계, 이벤트 식별 능력 평가
• TA 태스크에서 감정 분석, 뉴스 분류, Hawkish-Dovish 분류를 통해 시장 감정과 텍스트 데이터 해석 능력 평가
• QA 태스크에서 FinQA, TATQA 데이터셋을 활용해 수치 추론과 금융 도메인 지식 기반 복합 쿼리 응답 능력 평가
• TG 태스크에서 ECTSum, EDTSum으로 긴 금융 문서의 간결한 요약 생성 능력 평가
• FO 태스크에서 역사적 데이터, 뉴스, 감정 기반 주가 움직임과 시장 트렌드 예측 능력 평가
• 다중 평가 지표 적용: Accuracy, F1 Score, ROUGE Score, Matthews Correlation Coefficient(MCC)로 모델의 강점과 약점을 다차원 분석

Impact

GPT-4와 Llama 3.1이 금융 감정 분석에서 높은 정확도와 견고성으로 많은 태스크에서 지속적으로 우수한 성능 발휘했습니다. Forecasting(FO) 태스크에서 Llama-3.1-7b, internlm-7b 같은 소형 모델들이 Llama-3.1-70b 같은 대형 모델보다 정확도와 MCC 측면에서 더 나은 성능을 기록했습니다.

Key Takeaway

금융 LLM 평가에서는 모델 크기보다 태스크별 성능이 더 중요한 지표입니다. 실제 금융 데이터와 전문화된 평가 프레임워크를 통한 Zero-shot 검증이 실무 적용 가능성을 정확하게 판단할 수 있게 합니다.