Executor-Critic 분리를 통한 가벼운 LLM Self-Improvement 루프 구축

I Run a Self-Improvement Loop on My OpenClaw Agent Every Night. Here's What I Learned.

MrClaw2072026년 6월 17일6분intermediate

AI 요약

Context

에이전트가 작업 실행 결과의 성공 여부를 정확히 인지하지 못하고 동일한 오류를 반복하는 한계 발생. 고비용의 RLHF나 Fine-tuning 없이 개인 환경에서 작동 가능한 경량화된 학습 메커니즘 필요성 대두.

Executor와 Critic의 역할을 완전히 분리한 Isolated Session 아키텍처 설계로 자기 합리화 방지
Raw Log(일일 로그), Accumulated Lessons(축적된 교훈), Recent Fixes(최근 수정사항)로 구성된 3단계 Memory Layer 구축
특정 패턴 3회 이상 반복 시에만 Lessons 파일로 승격시키는 Promotion 전략을 통한 신호 대 잡음비(SNR) 최적화
'Pattern | Fix | Evidence'라는 정형화된 포맷 강제를 통해 메인 에이전트의 정보 합성 부하 감소
과도한 작업 생성 및 에이전트 증설을 금지하는 Anti-sycophancy 제약 조건을 프롬프트에 삽입하여 무분별한 확장 억제
매일 새벽 2시에 실행되는 Cron Job 기반의 비동기 분석 루프로 실시간 성능 저하 제거

실천 포인트

1. LLM 자가 수정 루프 설계 시 수행 주체와 평가 주체를 별도 세션으로 분리했는가

2. 피드백 데이터가 서술형이 아닌 '패턴-해결책-근거'의 정형 구조로 저장되고 있는가

3. 일회성 오류와 구조적 결함을 구분하는 승격(Promotion) 기준이 수립되었는가

4. 모델이 활동량 자체가 아닌 결과값(Outcome)을 최적화하도록 명시적 제약 조건을 설정했는가

태그