Structured Context 도입을 통한 4B 모델의 70B 모델 성능 추월

Context

비정형 PDF 문서의 방대한 Token 규모로 인한 Context Window 한계와 표 데이터 파싱 오류 발생. 대규모 모델(70B) 사용 시에도 모호한 답변과 Hallucination이 발생하는 구조적 제약 존재.

Technical Solution

• Raw PDF를 정제된 Markdown 기반 Skill File로 변환하여 입력 Token을 50K에서 4K로 최적화
• 비정형 텍스트 내 수치를 Labeling된 Table 구조로 재배치하여 모델의 데이터 추출 정확도 향상
• 변수 정의와 수식을 인접 배치하는 정규화 과정을 통해 추론 과정의 모호성 제거
• 고성능 모델(Claude Opus 등)을 활용한 1회성 Pre-structuring으로 저사양 모델의 추론 효율 극대화
• 비용 최적화를 위해 Gemini-Flash부터 Claude-Opus까지 단계적으로 모델을 상향하는 Auto-escalation 로직 적용

Impact

• 4B 모델이 70B 모델보다 정밀한 수치(예: 5.02x speedup)와 정확한 Reference 제공
• 논문당 처리 시간 약 2분 소요 및 유료 모드 기준 편당 약 $0.03의 저렴한 비용 달성

Key Takeaway

데이터의 구조화(Structuring)가 모델의 파라미터 규모보다 추론 정확도에 더 결정적인 영향을 미침. 고비용 Frontier Model로 데이터를 선행 정제하고 저비용 Local Model로 서비스하는 계층적 아키텍처의 효율성 입증.