CoT 프롬프팅을 통한 저사양 LLM의 추론 성능 최적화 및 비용 90% 절감

Context

LLM이 중간 계산 과정 없이 즉각적인 정답만을 출력할 때 발생하는 연산 압축 문제로 인한 낮은 추론 정확도 발생. 특히 Multi-step Math 문제에서 토큰 생성 시 필요한 Scratch paper 공간 부재가 병목 지점으로 작용.

Technical Solution

• "Let's think step by step" 구문을 통한 Chain of Thought(CoT) 강제 유도로 추론 과정의 외부화 설계
• 각 추론 단계에서 생성된 토큰을 다음 단계의 Context로 활용하여 논리적 앵커링(Anchoring) 구현
• 추론 토큰 수 증가를 통해 문제당 할당되는 Compute 자원을 확장함으로써 Reasoning Capacity 확보
• Zero-shot, Few-shot, Structured, Hidden CoT 등 요구사항에 따른 단계적 추론 구조 계층화
• Reasoning Model 대비 저렴한 소형 모델과 CoT 조합을 통한 비용 효율적 아키텍처 구성

Impact

• 고성능 Reasoning Model 대비 약 10% 수준의 비용으로 유사한 추론 결과 도출
• 단순 정답 출력 방식 대비 Multi-step Math 문제의 정확도 대폭 향상