Sycophancy 제거를 위한 Information Bottleneck 기반 Multi-Agent Debate 설계
MADCAP: Building a Multi-Agent Debate CLI That Argues With Itself So You Don't Have To
LLM 모델 교체 시 발생하는 Silent Regression 방지 체계 구축
How a model upgrade silently broke our extraction prompt (and how we caught it)
정적 벤치마크 탈피를 통한 LLM 평가 신뢰성 확보 전략
Why Your LLM Evals Are Lying to You
AWS News Blog
최대 5개 모델 동시 최적화 및 Metric-driven 피드백 루프 기반 프롬프트 마이그레이션
Amazon Bedrock introduces new advanced prompt optimization and migration tool
Google Cloud의 AI 에이전트 거버넌스 스택, "에이전트를 엔지니어 조직처럼 관리하라"
에이전트 Fleet 관리를 위한 5계층 거버넌스 스택 기반 보안 프레임워크
Reactive에서 Agentic AI로의 전환을 통한 자율적 Task 수행 아키텍처 설계
Stop Doing Your AI’s Chores: Shifting from Reactive to Agentic Systems
AI 리뷰를 신뢰할 수 있을까요?
Adoption Rate 지표 수립 및 맥락 보강을 통한 AI 리뷰 반영률 63% 달성
Offline LLM-as-a-judge 기반 RAG 성능 회귀 감지 체계 구축
Offline Evaluation of RAG-Grounded Answers in LaunchDarkly AI Configs
Reverse-RAG 기반 10,000개 Synthetic Prompt 자동화 테스트 체계 구축
Reverse-RAG: Building AI-Driven Synthetic Staging Environments on AWS
저비용 모델 성능 검증을 위한 LLM-as-a-Judge 파이프라인 구축
I needed to know if the cheaper model was good enough. So I built an LLM-as-a-Judge pipeline
Inception이 3C3H 평가 지표로 아랍어 LLM을 위한 AraGen 벤치마크와 동적 평가 시스템 도입
Rethinking LLM Evaluation with 3C3H: AraGen Benchmark and Leaderboard
Atla가 LLM을 평가자로 사용하는 모델들을 벤치마크하는 Judge Arena 플랫폼을 출시해 18개 최신 LLM의 평가 능력을 크라우드소싱 투표로 비교
Judge Arena: Benchmarking LLMs as Evaluators
Digital Green과 Hugging Face가 LLM-as-a-Judge 평가 시스템을 도입해 농업 챗봇의 신뢰성을 정량화하고 20,000명 이상의 농민으로부터 340,000개 이상의 쿼리 처리
Expert Support case study: Bolstering a RAG app with LLM-as-a-Judge