Llama 3.1 8B의 최고 정확도(28/32)와 Gemma 4의 최단 응답 시간(1.5s) 분석

Context

비즈니스 인텐트 해석을 통한 데이터 컬럼 식별 및 차트 설정값 생성 과정의 복잡성 존재. 모델별로 차트 타입 선정 오류나 무효한 설정값 생성으로 인한 렌더링 실패 등의 구조적 한계 노출.

Technical Solution

• Intent Detection 기반의 컨텍스트 분석을 통한 최적의 Visualization Type 추론 구조 설계
• Structured Output 강제를 통해 대화형 텍스트를 배제하고 렌더링 가능한 설정값만 생성하는 로직 구현
• Date Column과 Categorical Data의 구분 및 Null 값 처리 로직을 통한 Edge Case 대응력 강화
• 다국어 프롬프트 처리 성능 향상을 위해 Qwen 모델 계열의 Multilingual Embedding 최적화 활용
• 응답 지연 시간 단축을 통한 사용자 Engagement 유지용 저지연 추론 아키텍처 검토

Impact

• Llama 3.1 8B: 32개 시나리오 중 28개 정답 달성으로 최고 정확도 기록
• Gemma 4 E2B: GPU 기준 1.5s의 응답 시간으로 최단 추론 속도 확보
• Qwen 2.5 7B: Turkish 프롬프트 26/32 성공으로 다국어 환경 최적 성능 증명

Key Takeaway

정확도, 속도, 다국어 지원이라는 상충하는 요구사항에 따라 모델을 선택하는 Trade-off 전략 수립 필요. 특히 Interactive Dashboard 구축 시에는 정확도 소폭 손실을 감수하더라도 추론 속도를 우선시하는 설계 방향이 유효함.