Atlarix 하네스를 통한 open-weight 모델의 성능 병목 제거 확인 (정확도 47%)
Atlarix vs opencode on Terminal-Bench 2.0 — same model, only the harness changes (k=1, receipts included)
Open Weights LLM의 Closed Source 추격 격차 분석 및 벤치마크별 편차 확인
The gap between open weights LLMs and closed source LLMs
Reid Hoffman “SpaceX는 AI 회사가 아니고, xAI는 완전한 난장판”
xAI 모델 벤치마크 열위 및 SpaceX의 AI 역량 부재 분석
Decode Rate 중심의 LLM 벤치마크 구현 및 CI Race Condition 해결
Building haven bench in the open, and the flaky CI ghost it flushed out
재현 가능성 확보를 통한 Residential Proxy 벤치마크 표준화 설계
Benchmarking Residential Proxy Providers: A Reproducible Test Script
Mythos 전용 벤치마크를 통한 LLM 보안 취약점 탐지 능력 검증 및 분석
Will It Mythos?
Composer 2.5 Fast: 비용 동일, 속도 32% 향상 및 성능 우위 달성
We ran Composer 2.5 and 2.5 Fast across 11 skills. Surprisingly, Fast won.
Japanese RAG에서 8B 모델의 언어 튜닝 유무에 따른 성능 격차 분석 및 배포 제약 검토
A Chinese 8B model beat the Western 8B models at Japanese RAG. I still wouldn't put it in the default deployment — and that distinction is the point.
양자컴퓨터 관련 리더보드 허깅페이스에 공개
오류 46% 감소 구현한 Quantum Decoder 및 표준 벤치마크 설계
OLMES 표준 기반의 체크포인트별 고해상도 LLM 평가 워크벤치 구축
olmo-eval: An evaluation workbench for the model development loop
Mergeability 기반 평가로 AI 코딩 벤치마크의 패러다임 전환 (최고 통과율 14.5%)
【Deep Dive】Frontier Code: The Benchmark That Asks "Would a Maintainer Merge This?"
메모리 최적화를 통한 5,000만 건 레코드 쿼리 1초 미만 달성
50 Million Records in Under One Second — Inside ZenQL’s New Collection Engine
LLM의 수학적 추론 능력 검증을 위한 100개 고난도 벤치마크 데이터셋 구축
Benchmarks in Leipzig
Show GN: VLM은 한국 공공기관 문서를 얼마나 잘 읽을까? KOLongDoc 벤치마크 공개
한국어 공공기관 Long-Document 분석을 위한 KOLongDoc 벤치마크 공개
3개 도메인, 213개 시나리오 기반 Voice Agent 고정밀 벤치마크 구축
EVA-Bench Data 2.0: 3 Domains, 121 Tools, 213 Scenarios
Frontier LLM의 SRE 업무 수행률 50% 미만, Precision 기반 벤치마크 결과
ITBench-AA: Frontier Models Score Below 50% on the First Benchmark for Agentic Enterprise IT Tasks — by Artificial Analysis and IBM
전략적 벤치마크 설계와 데이터 필터링을 통한 Linter 성능 81% 개선
"How I Cut My Go Markdown Linter's Benchmark by 81%"
Task-specific Routing을 통한 LLM 성능 최적화 및 비용 절감
I A/B tested 4 LLMs on the same 500 queries. The results surprised me.
Antigravity 2.0, OpenSCAD 건축 3D LLM 벤치마크에서 1위
Antigravity 2.0, OpenSCAD 기반 3D LLM 벤치마크 1위 달성
GPT-Realtime-Translate의 5.4s 최저 지연시간과 Accuracy Trade-off 분석
I benchmarked OpenAI's new GPT-Realtime-Translate against four other live translation systems