Claude Code 성능 73% 급락을 증명한 6,852세션 포렌식 감사
Claude Code Was Broken for 6 Weeks. AMD Caught It in 6,852 Sessions Before Anthropic Did.
신뢰성 확보를 위한 Benchmark 저장소의 독립적 분리 및 오픈 피드백 루프 설계
Why I spun my benchmark into its own repo (and why every dev tool with a benchmark should)
단순 코딩에서 AI System Orchestration 중심의 아키텍처 설계로의 패러다임 전환
The Future: Engineers as AI System Architects
Workflow와 Agent의 명확한 구분 및 4대 Primitive 중심의 단계적 아키텍처 설계
AI Agent Roadmap: Everything You Need to Build Agents (In the Right Order)
LLM 내재 기능을 활용한 AI Agent 오버엔지니어링 제거 및 단순화 전략
Things You're Overengineering in Your AI Agent (The LLM Already Handles Them)
운영 체제적 접근을 통한 AI 도입률 20%에서 80% 이상으로의 확장
How to Make a Company AI-Native (Without Building Anything)
Latency 최적화와 Memory 아키텍처 구축을 통한 AI 튜터 리텐션 강화
Three Lessons From Shipping an AI Product to Real Users
저비용 모델 성능 검증을 위한 LLM-as-a-Judge 파이프라인 구축
I needed to know if the cheaper model was good enough. So I built an LLM-as-a-Judge pipeline
LoCoMo 벤치마크 오류 6.4% 발견, LLM Judge의 신뢰성 한계 분석
We audited LoCoMo: 6.4% of the answer key is wrong and the judge accepts up to 63% of intentionally
데이터 사이언티스트의 역습
LLM 시대에 데이터 사이언티스트 역할 재정의 필요성 대두됨
AI 엔지니어들이 단순 프롬프트 엔지니어링을 넘어 LangChain/LlamaIndex 오케스트레이션, 벡터 DB 기반 RAG, LLM 평가 프레임워크를 조합해 프로덕션급 AI 애플리케이션 아키텍처 구축
The AI Engineer's Toolkit: Moving Beyond Prompt Engineering to Build Robust AI Applications
Braintrust와 Waxell이 에이전트 개발 및 운영의 서로 다른 단계를 담당하면서 품질 평가와 런타임 거버넌스의 구분 필요성 제시
Waxell vs. Braintrust: When Evaluation Isn't Enough
InField Agent 개발팀이 LangWatch Skills를 도입해 멀티모달 에이전트 평가 파이프라인을 30분 내에 구축하고 위성 이미지 분석 신뢰성 검증
From zero evals to a working multimodal evaluation in 30 minutes using LangWatch Skills
Hugging Face가 공개·비공개 데이터셋 하이브리드 전략으로 임베딩 모델 평가의 과적합 문제 해결하는 RTEB 벤치마크 출시
Introducing RTEB: A New Standard for Retrieval Evaluation
NeurIPS 2025가 E2LM 경진대회를 통해 200B 토큰 초기 학습 단계에서 LLM의 추론 및 과학 지식을 평가할 수 있는 벤치마크 개발
Announcing NeurIPS 2025 E2LM Competition: Early Training Evaluation of Language Models
Hugging Face가 GUI 에이전트 평가 벤치마크 13개를 통합한 ScreenSuite를 오픈소스로 공개해 VLM 성능 비교 및 재현성 문제 해결
ScreenSuite - The most comprehensive evaluation suite for GUI Agents!
Atla가 LLM을 평가자로 사용하는 모델들을 벤치마크하는 Judge Arena 플랫폼을 출시해 18개 최신 LLM의 평가 능력을 크라우드소싱 투표로 비교
Judge Arena: Benchmarking LLMs as Evaluators
Digital Green과 Hugging Face가 LLM-as-a-Judge 평가 시스템을 도입해 농업 챗봇의 신뢰성을 정량화하고 20,000명 이상의 농민으로부터 340,000개 이상의 쿼리 처리
Expert Support case study: Bolstering a RAG app with LLM-as-a-Judge
BigCodeBench가 1,140개의 함수 레벨 작업과 5.6개의 평균 테스트 케이스로 HumanEval의 과단순화 문제를 해결한 LLM 코드 생성 벤치마크
BigCodeBench: The Next Generation of HumanEval
TII가 OpenArabic LLM Leaderboard를 구축해 아랍어 처리에 특화된 벤치마크 플랫폼으로 3억8천만 아랍어 사용자 대상 모델 평가 기반 조성
Introducing the Open Arabic LLM Leaderboard