피드로 돌아가기
Dev.toAI/ML
원문 읽기
Agentic Workflow 구현을 위한 Claude Code의 유연한 Provider 라우팅 및 설정 아키텍처
Claude Code install and config for Ollama, llama.cpp, pricing
AI 요약
Context
단순한 Code Completion의 한계를 넘어 프로젝트 단위의 Task를 수행하는 Agentic Coding Tool의 필요성 증대. 단순 텍스트 생성이 아닌 파일 편집, 명령어 실행, 테스트 반복이 가능한 Project-level 제어 구조 요구.
Technical Solution
- Agentic Loop 구현을 통한 '코드 라인' 단위가 아닌 '최종 상태(End State)' 기반의 작업 단위 정의
- User, Project, Local 3단계 계층형 설정 구조 설계를 통한 환경별 설정 우선순위(Precedence) 제어
- ANTHROPIC_BASE_URL 및 API Key 환경 변수를 통한 First-party 및 Third-party(Ollama, llama.cpp) Provider 라우팅 추상화
- Anthropic Messages 포맷 준수를 위한 /v1/messages 및 /v1/messages/count_tokens 엔드포인트 강제 및 헤더 포워딩 구조 설계
- llama-server의 --jinja 플래그 활용을 통한 Tool Calling 메커니즘 활성화 및 에이전트 루프 성능 유지
- /sandbox 및 acceptEdits 설정을 통한 권한 제어와 실행 속도 간의 Trade-off 최적화
실천 포인트
- Third-party LLM 게이트웨이 구축 시 anthropic-beta 및 anthropic-version 헤더 전달 여부 확인 - Tool Calling 기능 장애 시 추론 서버의 템플릿 엔진(예: Jinja) 활성화 상태 검토 - 설정 충돌 방지를 위해 Managed Policy > CLI Flags > Local > Project > User 순의 우선순위 체계 적용 - Observability 확보를 위해 /doctor 및 /debug 명령어를 통한 런타임 설정 검증 루틴 수립