Model 추론력을 제어하는 Agent Harness 중심의 AI Ops 아키텍처 설계

Context

기존 AI 에이전트 구현이 LLM 모델 성능에만 의존하여 예측 불가능한 동작과 보안 리스크를 초래함. 모델의 추론 능력과 실제 운영 환경 간의 괴리로 인한 제어 불능 상태를 해결하기 위한 구조적 접근 필요.

Technical Solution

• Reasoning(모델), Decision/Action(Loop), Control/Safety(Harness)의 역할 분리 구조 설계
• Instruction Layer 도입을 통한 역할 정의 및 실행 경계의 Configuration 기반 버전 관리
• Context Pollution 방지를 위해 Short-term/Retrieved/Long-term Memory로 계층화된 메모리 제어
• Least-privilege 원칙을 적용한 Tool Layer 설계를 통해 모델의 임의 실행으로 인한 운영 리스크 차단
• Control Loop 메커니즘을 통한 '상태 파악 $\rightarrow$ 단계 결정 $\rightarrow$ 실행 $\rightarrow$ 관찰 $\rightarrow$ 수정'의 반복적 피드백 루프 구현
• 위험 작업에 대한 Human-in-the-loop 승인 프로세스를 Harness 레벨에서 강제하여 시스템 안정성 확보