SWE-bench Verified가 더 이상 프런티어 코딩 역량을 측정하지 못하는 이유
SWE-bench Verified 포화 및 데이터 오염에 따른 LLM 코딩 역량 측정 한계 분석
치료 대기 시간 90% 단축한 의료 전용 Agentic Workflow 구축
Trellis AI (YC W24) Is hiring engineers to build self-improving agents
SDLC 전 과정을 모사한 5단계 Role-based AI 코딩 벤치마크 Ship-Bench 설계
An AI Benchmark That Tests Real Coding Workflows
163개 실험 기반 LLM Agent 통계적 유효성 검증 벤치마크 구축
I Built a Benchmark That Proves Most LLM Agents Are Statistically Blind And Why That Costs Companies Real Money
AI 에이전트의 데모와 프로덕션 간 격차를 평가 프레임워크 7가지 패턴으로 해소하는 방법
7 AI Agent Evaluation Patterns That Catch Failures Before Production
개발 팀이 PTME 프레임워크(Plan, Tools, Memory, Evaluation)를 도입해 AI 에이전트의 데모-프로덕션 간극을 줄이고 신뢰성 높은 실제 운영 시스템 구축
How to Build AI Agents That Actually Work in 2026
AI 에이전트 메모리 시스템이 LoCoMo 벤치마크에서 높은 검색 정확도를 기록하면서도 오래된 정보를 신뢰도 있게 반환하거나 모순된 정보를 동시에 제공하는 근본적인 평가 지표 부재
What Memory Benchmarks Don't Test
금융 산업 전문가들이 Open FinLLM Leaderboard를 구축해 일반 NLP 벤치마크 대신 금융 특화 태스크 7개 카테고리로 LLM 평가 체계 전환
Introducing the Open FinLLM Leaderboard