Claude Science 공개 베타
60개 이상의 과학 DB와 HPC 인프라를 통합한 연구용 통합 워크벤치 구축
DuckDB 기반 Streaming 처리로 RAM 제약을 극복한 재사용 가능 CSV 전처리 CLI
csvtidy: merge and clean CSV files from the terminal, with reusable recipes
재현 가능성 확보를 통한 Residential Proxy 벤치마크 표준화 설계
Benchmarking Residential Proxy Providers: A Reproducible Test Script
Single-Cell Genomics 추론 검증을 위한 재현 가능 벤치마크 엔지니어링 프레임워크 구축
Engineering CellFateBench: A Reproducible Python Benchmark for Single-Cell Genomics Reasoning
Bit-for-bit 재현성을 보장하는 Deterministic Unit of Account 설계
Don’t trust me, verify me: openunit, a unit of account you can recompute byte-for-byte
OLMES 표준 기반의 체크포인트별 고해상도 LLM 평가 워크벤치 구축
olmo-eval: An evaluation workbench for the model development loop
3개 도메인, 213개 시나리오 기반 Voice Agent 고정밀 벤치마크 구축
EVA-Bench Data 2.0: 3 Domains, 121 Tools, 213 Scenarios
ML 프로젝트 유지보수성 향상을 위한 표준 디렉토리 구조 및 패키징 설계
Day 4: Create a Standard ML Project Structure
데이터 기반 프로젝트의 재현성 확보를 위한 Git-DVC 하이브리드 워크플로우 설계
Collaborative Git Workflows for Data-Driven Projects
Purely Functional 모델 기반 10만 개 패키지 무충돌 격리 환경 구축
Nix Series: Introduction
ML 연구 기준의 상향으로 인한 실험적 검증 요구사항의 고도화
Would a 2000-2021 ML Paper Get Accepted Today? The Rising Bar in ML Research
OS 수준 가상화를 통한 환경 일관성 확보 및 배포 효율 극대화
Docker for Data Professionals: From Zero to Containerizing Your First Project
Homebrew와 Miniconda 조합을 통한 Python 환경 격리 및 재현성 확보
🐍 The "Production-Ready" Miniconda Cheatsheet: From Homebrew to JupyterLab
불변 인프라의 OS 구현, NixOS로 달성한 완벽한 재현성
NixOS vs Traditional Linux: Why I Made the Switch and What I Learned
저자가 Nix 패키지 매니저를 기반으로 한 NixOS 도입으로 선언형 OS 구성과 완전 재현 가능한 시스템 관리 실현
Why I love NixOS
Hugging Face가 분산형 평가 결과 보고 시스템을 구축해 벤치마크 점수의 단일 진실 공급원 부재 문제 해결
Community Evals: Because we're done trusting black-box leaderboards over the community
NVIDIA가 NeMo Evaluator 라이브러리와 완전 공개된 평가 레시피로 Nemotron 3 Nano 30B A3B 모델을 벤치마킹해 재현 가능하고 검증 가능한 평가 표준 제시
The Open Evaluation Standard: Benchmarking NVIDIA Nemotron 3 Nano with NeMo Evaluator
Hugging Face Open LLM Leaderboard 팀이 MMLU 벤치마크의 3가지 서로 다른 구현(EleutherAI Harness, Original UC Berkeley, Stanford HELM)을 비교하여 동일한 데이터셋으로도 결과와 모델 순위가 크게 달라지는 문제 발견 및 해결
What's going on with the Open LLM Leaderboard?
Hugging Face가 DataCite와 파트너십을 통해 모델과 데이터셋에 DOI(Digital Object Identifier) 생성 기능을 제공하여 연구 커뮤니티에서의 인용 및 영구 참조 가능
Introducing DOI: the Digital Object Identifier to Datasets and Models
Hugging Face가 Evaluation on the Hub를 출시해 코드 작성 없이 모든 모델을 모든 데이터셋에서 평가 가능하도록 구현
Announcing Evaluation on the Hub