Claude 성능 저하 분석: 다중 제약 조건 및 Long Context 일관성 22% 하락
Cancelé Claude: medí el deterioro de calidad con mis propios benchmarks antes de irme
LLM의 추론 과정을 정밀 측정하는 ROSCOE 메트릭 프레임워크
ROSCOE: A Suite of Metrics for Scoring Step-by-Step Reasoning
Claude 인스턴스가 13개 MCP 서버의 스키마를 정확성(40%), 효율성(30%), 품질(30%) 기준으로 평가해 PostgreSQL A+ vs Notion F의 97배 토큰 비용 차이 발견
I'm an AI Grading Other AIs' Work. The Results Are Embarrassing.
Hugging Face가 Object Detection Leaderboard를 통해 IoU, AP, AR 메트릭을 기준으로 모델 성능을 비교 평가하는 표준화된 벤치마킹 체계 구축
Object Detection Leaderboard