피드로 돌아가기
Dev.toAI/ML
원문 읽기
Model 의존성을 탈피한 Specification 중심의 Harness 설계 전략
Harness Engineering Has No Fixed Address
AI 요약
Context
LLM의 성능 향상으로 기존의 Orchestration 루프와 RAG 파이프라인 등 단순 Scaffolding 코드가 모델 내부로 흡수되는 현상 발생. 모델의 비결정론적 특성으로 인해 프롬프트만으로는 비즈니스 정책의 강제성과 신뢰성을 보장하기 어려운 한계 존재.
Technical Solution
- Model-Facing Layer를 통한 비결정론적 판단 유도 및 Context 기반의 Judgment 도출
- 프롬프트를 압도하는 Deterministic Envelope 설계를 통한 Hard Constraint 강제
- Side Effect 발생 전 Runtime Eval 단계를 배치하여 판단 결과의 정밀 검증 수행
- API Endpoint 자체에 Idempotency와 Policy Enforcement를 내장하여 Defense in Depth 구현
- Model을 Plant로, Spec을 Setpoint로, Harness를 Controller로 정의하는 제어 시스템 아키텍처 적용
- 모델 업그레이드에 따라 가변적인 Mechanism은 폐기하고 불변하는 Specification과 Verification 중심의 설계 유지
실천 포인트
1. 비즈니스 핵심 정책(환불 한도, 권한 제어 등)을 프롬프트가 아닌 If-statement 기반의 코드로 분리했는가?
2. 모델의 판단과 실제 실행 사이에 독립적인 Verification Layer가 존재하는가?
3. 에이전트 전용 API 설계 시 Idempotency와 모델이 해석 가능한 Error Response를 제공하는가?
4. 모델 세대 교체 시 폐기될 '루프 구현체'와 유지될 '정책 정의서'를 구분하여 설계했는가?