피드로 돌아가기
Dev.toAI/ML
원문 읽기
Schema 기반 CoT 강제를 통한 절차 준수율 9.91%에서 100% 달성
Function Calling Harness 2: CoT Compliance from 9.91% to 100%
AI 요약
Context
LLM의 자유 형식 CoT는 추론 과정의 누락을 식별하기 어렵고 절차적 무결성을 보장하지 못하는 한계 존재. 특히 다수의 항목을 처리해야 하는 작업에서 프롬프트 기반 지시만으로는 모델이 특정 단계를 건너뛰는 현상이 빈번하게 발생함.
Technical Solution
- 추론 과정 자체를 타입 수준의 계약(Contract)으로 정의한 Schema 기반 아키텍처 설계
- 자유 prose 형태의 CoT를 검증 가능한 Audit Artifact(객체)로 변환하여 제출하도록 강제
- 전문 영역의 정립된 절차(SOAP, IRAC, ADR 등)를 Type Level에 인코딩하여 누락 발생 시 유효성 검사 실패 유도
- 'Prompt(요청) $\rightarrow$ Schema(강제) $\rightarrow$ Validator(검증) $\rightarrow$ Feedback Loop'로 이어지는 확정적 수렴 구조 구축
- 단순한 형식(Syntax) 제한을 넘어 추론의 단계(Procedure)를 객체화하여 추론의 성실도(Compliance)를 측정 가능하게 구현
Impact
- IAutoBeInterfaceEndpointReviewApplication 기준, 첫 시도 절차 준수율(CoT Compliance) 9.91%에서 100%로 향상
실천 포인트
- LLM의 추론 과정이 중요한 도메인에서 자유 텍스트 CoT 대신 정형화된 JSON Schema 도입 검토 - 전문 지식의 워크플로우를 개별 필드로 분리하여 모델이 각 단계를 명시적으로 채우도록 설계 - 결과물의 정답 여부(Correctness)와 별개로 절차 준수 여부(Compliance)를 검증하는 Validator 레이어 구축 - 단순 프롬프트 수정보다 타입 시스템을 통한 제약 조건 강제가 더 높은 품질 하한선(Quality Floor)을 제공함을 인지