피드로 돌아가기
GeekNewsAI/ML
원문 읽기
Agents에는 더 많은 프롬프트가 아니라 제어 흐름이 필요하다
비결정적 LLM 오케스트레이션을 결정적 코드 하네스로 전환하여 신뢰성 확보
AI 요약
Context
고수준 제어 흐름을 LLM에 전적으로 위임한 Agent 구조에서 파일 누락, 중복 테스트, 일관성 결여 등의 신뢰성 문제가 발생함. 모델 성능 향상만으로는 해결 불가능한 워크플로 오케스트레이션의 비결정적 한계를 식별함.
Technical Solution
- 모델 주변에 결정적 Harness를 설계하여 고수준 제어 흐름을 코드 기반으로 강제함
- LLM의 역할을 '전체 실행'에서 '작은 단위 작업 수행 및 데이터 분류'로 한정하는 번역 계층으로 재정의함
- apply_patch 도구에 check_compilation 및 run_unit_tests를 결합하여 실행 결과의 결정성을 확보함
- LLM이 직접 작업을 수행하는 대신, 특정 작업을 수행할 결정적 소프트웨어나 스크립트를 작성하게 하는 '코드 생성' 패턴 도입
- 비결정적 판단(LLM)을 결정적 제어 흐름(Code) 사이에 배치하는 'Deterministic-NonDeterministic-Deterministic' 샌드위치 구조 설계
- 도메인 특화 언어(DSL)와 파서를 도입하여 LLM의 출력을 정형화하고 문법 오류를 즉각적으로 피드백하는 루프 구축
실천 포인트
- [ ] LLM에게 전체 워크플로 제어를 맡기고 있는가? $\rightarrow$ 결정적 하네스로 분리 - [ ] 프롬프트가 계속 길어지고 있는가? $\rightarrow$ 기능을 작은 단위의 결정적 도구(Skill)로 추출 - [ ] LLM의 결과물을 바로 프로덕션에 반영하는가? $\rightarrow$ 사람이 검토하는 'R(Read)' 엔드포인트 구조로 전환 - [ ] 복잡한 추론이 필요한가? $\rightarrow$ LLM이 실행 시점에 작업하는 대신, 작업을 수행할 코드를 작성하게 유도