피드로 돌아가기
GeekNewsAI/ML
원문 읽기
Show GN: Spanlens - LLM 호출과 에이전트 trace를 한 곳에서 보는 오픈소스 관측 플랫폼
Hono-ClickHouse 기반 LLM 관측 플랫폼의 Critical Path 분석 및 트레이스 설계
AI 요약
Context
LLM 서비스 운영 중 발생하는 비용 추적의 수동 작업과 멀티 호출 에이전트 디버깅의 높은 복잡도 해결 필요. 로그 기반의 단순 추적으로는 병목 지점 파악 및 모델별 토큰 사용량의 정밀한 분석에 한계가 존재함.
Technical Solution
- baseURL 프록시 구조를 통한 요청/응답/토큰/비용의 투명한 자동 기록 체계 구축
- body.tee() 활용으로 클라이언트 응답 지연을 최소화하면서 백그라운드에서 토큰 및 비용 계산 수행
- ClickHouse 비동기 적재와 Supabase 폴백 큐를 결합한 데이터 유실 방지형 파이프라인 설계
- AES-256-GCM 암호화를 적용해 Provider Key를 메모리 상에서만 일시적으로 사용하는 보안 계층 구현
- Welch t-test 기반의 프롬프트 A/B 테스트 통계 분석으로 단순 평균을 넘어선 유의미한 성능 차이 검증
- LangGraph Topology View 및 Critical Path 자동 분석으로 복잡한 에이전트 호출 체인의 병목 지점 시각화
실천 포인트
1. LLM 프록시 설계 시 body.tee()를 사용하여 응답 속도 저하 없는 로깅 파이프라인 구축 검토
2. 쓰기 성능이 중요한 관측 데이터는 ClickHouse와 같은 Columnar DB 채택 및 비동기 적재 구조 적용
3. 단순 평균치가 아닌 Welch t-test 등 통계적 유의성 검정을 통한 프롬프트 최적화 검증 프로세스 도입
4. 분산 트레이싱 시 부모-자식 관계 설정을 통한 Critical Path 시각화로 디버깅 효율성 제고