LLM 기반 에이전트 개발 팀이 Prompt Engineering에서 Harness Engineering으로 전환해 프로덕션 환경에서 80%의 성공률을 검증 가능한 신뢰성으로 전환

Context

Prompt Engineering과 Context Engineering 기법만으로는 프로덕션 환경에서 LLM 에이전트의 신뢰성을 보장하지 못했다. 아티클 저자가 언급한 "fragility의 천장"은 완벽하게 작성된 프롬프트도 실제 운영 환경에서 20%의 실패율을 초래한다는 점이다.

Technical Solution

• 결정론적 제약 조건 도입: 원본 프롬프트 지시사항 대신 커스텀 린터를 구현해 CI 빌드 실패로 물리적 제약을 강제하는 방식으로 전환
• Write-Test-Fix 검증 루프 구현: 에이전트가 생성한 코드를 샌드박스 환경에서 자동 실행하고 표준 에러(stderr)를 캡처해 에이전트에게 피드백 제공
• 기계가 읽을 수 있는 지식 베이스 구축: AGENTS.md와 같은 구조화된 문서 형식으로 암묵적 지식을 변환해 에이전트가 쿼리 가능한 "진실의 원천(Source of Truth)"으로 제공
• 환경 기반 관리로 철학적 전환: 코드 자체를 수정하는 "루프 내 접근(In the Loop)"에서 에이전트가 작동하는 환경을 설계하는 "루프 위 접근(On the Loop)"으로 변경

Impact

문서에 정량적 지표가 명시되지 않음

Key Takeaway

Harness Engineering은 LLM의 확률적 특성을 결정론적 제약 조건으로 감싸서 "추측"에서 "검증된 네비게이션"으로 전환하는 패러다임이다. 엔지니어는 개별 함수 작성에서 에이전트가 독립적으로 수천 개의 함수를 생성하도록 하는 시스템 설계자(Capability Architect)로 역할이 변한다.