피드로 돌아가기
GeekNewsAI/ML
원문 읽기
AST 기반 컨텍스트 제어와 AI Harness 최적화로 벤치마크 성능 48%에서 65%로 향상
dirac-run/dirac
AI 요약
Context
대규모 코드베이스 편집 시 전체 파일을 컨텍스트에 포함함에 따른 토큰 낭비와 비용 증가 발생. 기존 모델 중심 접근 방식으로는 복잡한 파일 수정 시 정확도 저하 및 툴 호출 효율성 한계 직면.
Technical Solution
- 언어별 AST(Abstract Syntax Tree)를 활용하여 필요한 코드 조각만 선별적으로 컨텍스트에 주입하는 구조 설계
- Hash-Anchored Edits 방식을 도입하여 파일 전체를 다시 쓰지 않고 특정 앵커 지점만 수정하는 최적화 구현
- Tool API를 리스트 기반으로 설계하여 모델의 개별 병렬 호출 의존도를 낮추고 Batch 처리 효율 극대화
- 다음 요청 정보를 예측하여 컨텍스트에 미리 배치하는 세심한 Context Management 전략 적용
- 모델 자체의 성능보다 이를 둘러싼 AI Harness의 설계 수준이 최종 성능을 결정하는 구조적 접근 채택
실천 포인트
1. 전체 파일 읽기 대신 AST 파서를 이용한 부분적 컨텍스트 주입 검토
2. 모델의 병렬 호출 능력에 의존하지 않는 Batch 기반 Tool API 설계 적용
3. API 캐싱 효율을 위해 Pruning보다는 Rolling Context Window 방식 고려
4. 모델 교체 전 Harness의 프롬프트 및 툴 체인 최적화 우선 수행