Prompt 중심 설계에서 Outcome 제어 중심의 Harness 시스템으로의 패러다임 전환

Context

단일 Prompt 최적화와 Parameter 조정만으로는 LLM의 Non-determinism으로 인한 결과 불확실성 해결에 한계 직면. 단순 텍스트 생성이 아닌 시스템 전반의 신뢰성 확보를 위한 구조적 제어 체계 필요성 증대.

Technical Solution

• Model을 단발성 함수가 아닌 Control Loop 기반의 Harness 구조로 래핑하여 동작 관리
• Task Planning 및 Context Assembly 단계를 통한 입력 데이터의 구조적 최적화 수행
• 'Generate-Critique-Refine' 루프 도입을 통한 모델 출력값의 자체 평가 및 반복 개선 프로세스 구축
• Execution Trace 및 Observability 시스템 설계를 통한 분산 시스템 수준의 디버깅 환경 구현
• 다중 후보 생성 후 Scoring 및 Heuristics 기반의 최적 결과 선택 방식으로 결정론적 결과 유도
• Validation 및 Fallback 메커니즘 설계를 통한 확률적 모델의 결함 가능성을 시스템 수준에서 보완