단순 요약에서 제약 조건 기반 중재 구조로 AI 의사결정 툴 고도화

Context

단일 LLM 호출 기반의 단순 프롬프트 구조로 인한 모호한 결과 도출. 근거 없는 자신감 점수 출력 및 실행 시마다 결과가 변하는 비결정적 특성 발생. 증거 가중치 측정 메커니즘 부재로 인한 논리적 신뢰성 한계.

Technical Solution

• 추출(Extraction), 옹호(Advocacy), 중재(Adjudication) 단계를 분리한 다단계 파이프라인 설계
• 사용자 입력에서 Hard/Soft Constraints 및 결정 기준을 정규화된 JSON 형태로 추출하는 제약 조건 프레임워크 도입
• Tavily API를 연동하여 외부 실시간 데이터를 수집하고 증거 강도(High/Medium/Low)와 소스 유형을 태깅하는 검증 체계 구축
• 각 옵션에 대해 독립적인 LLM 에이전트가 논거를 생성하는 적대적 구조(Adversarial Structure) 적용
• 최종 중재자가 추출된 제약 조건 ID와 증거 강도를 기준으로 옵션을 평가하는 스코어카드 방식의 의사결정 로직 구현
• 자신감 점수를 증거 강도 및 에이전트 간 합의 여부와 연동하여 논리적 근거를 명시하도록 강제하는 구조

Impact

• 제약 조건 프레임워크 도입을 통해 모호한 답변(Hand-waving)의 약 80% 제거

Key Takeaway

LLM의 추론 성능은 단순한 프롬프트 엔지니어링보다 인지적 작업 단계를 분리하고 상충하는 관점을 대립시키는 아키텍처 설계에서 극대화됨.