피드로 돌아가기
GeekNewsAI/ML
원문 읽기
AI 이후의 소프트웨어: 하네스(Harness) 시대의 개막
LLM 제어력 확보를 통한 토큰 비용 50% 절감 및 프로덕션 신뢰성 구축
AI 요약
Context
고정 워크플로우 중심의 기존 SaaS 아키텍처는 AI의 비결정론적 특성을 제어하지 못하는 한계 직면. 단순 모델 채택을 넘어 실무 적용 가능한 수준의 신뢰성과 성능을 확보하기 위한 체계적 통제 구조 필요.
Technical Solution
- Context & Memory: 도메인 특화 Bespoke Retrieval 및 SOP 기반 Context DB 설계를 통한 모델의 상황 인지 능력 강화
- Tools & Action: Registry 기반 도구 노출과 MCP 활용 및 승인 게이트 설계를 통한 외부 시스템 상호작용의 안정성 확보
- Orchestration & Loop: Think-Act-Observe-Repeat 구조의 Closed Loop 패턴 적용으로 작업 수행 과정의 지속적 학습 체계 구축
- State & Persistence: 체크포인트 및 세션 스레드 저장소 설계를 통한 10단계 작업 중 장애 발생 시 부분 재개 가능한 Resilient 구조 구현
- Sandbox & Compute: 격리된 Unix 워크스페이스와 Network Egress 통제를 통한 보안성 및 대규모 연산 속도 보장
- Observability & Governance: Human-in-the-loop 및 Evals 기반 회귀 테스트 체계 구축을 통한 데모 수준의 시스템을 프로덕션 단계로 전환
실천 포인트
- 비결정론적 영역과 결정론적 영역을 구분하여 최적의 모델 사이즈(S/M/L) 및 파인튜닝 전략 수립 - 에이전트 작업의 상태를 영속화하여 크래시 발생 시 마지막 체크포인트부터 재개하는 복구 메커니즘 검토 - 모든 도구 호출 로깅 및 Evals 기반 가드레일을 설정하여 고객 배포 전 회귀 가능성 사전 차단