피드로 돌아가기
Dev.toAI/ML
원문 읽기
150줄의 코드로 OpenAI 호환 API 기반의 Production ReAct 에이전트 구축
Running a LangGraph ReAct Agent in Production: OpenAI-Compatible API + Multi-Model Gateway + One-Line Tracing
AI 요약
Context
노트북 기반의 단순 PoC 단계에 머무는 LangGraph 구현체들의 한계 분석. 모델 교체 시 발생하는 코드 수정 부담과 복잡한 에이전트 내부 동작의 가시성 부족 문제를 해결하기 위한 프로덕션 레벨의 서빙 구조 필요.
Technical Solution
- OpenAI API 규격을 인터페이스로 채택하여 기존 OpenAI SDK 및 UI 클라이언트와의 zero-adapter 연동 실현
- LiteLLM Gateway를 LLM 호출 계층에 배치하여 설정 변경만으로 hosted API와 self-hosted vLLM 간의 모델 스위칭 가능 구조 설계
- LangGraph StateGraph와 prebuilt ToolNode를 활용하여 추론과 도구 실행이 반복되는 ReAct 루프를 10줄 내외의 코드로 구현
- add_messages reducer를 통해 상태 관리 로직을 단순화하고 대화 맥락의 누적 및 유지 자동화
- Graph Config의 callbacks 필드에 Langfuse 핸들러를 주입하여 단일 요청에 대한 전체 노드 전이 및 Tool Call 과정을 통합 트레이싱
- Qdrant 기반 RAG 구현 시 출처를 포함한 구조적 응답 형식을 설계하여 모델의 근거 제시 능력 및 신뢰성 확보
실천 포인트
- 외부 인터페이스를 업계 표준(OpenAI API)으로 설계하여 프론트엔드 의존성 제거 - 모델 공급자 추상화 계층(Gateway)을 도입하여 인프라 변경 유연성 확보 - Observability 도구의 콜백을 개별 노드가 아닌 그래프 설정 레벨에서 통합 관리 - Tool 정의 시 Docstring을 모델의 프롬프트로 활용하는 전략 검토