PBMC3k 데이터를 활용한 Marker-gene 기반 AI 추론 벤치마크 설계

Can AI Reason From Marker Genes? Building a Single-Cell Benchmark From PBMC3k

Oluwagbade Odimayo2026년 6월 15일4분intermediate

AI 요약

Context

기존 single-cell RNA-seq 분석은 클러스터링과 라벨 할당 위주의 단순 워크플로우에 집중함. 이로 인해 결과 도출 과정에서 핵심인 Marker-gene 기반의 생물학적 추론 단계가 정량적으로 검증되지 못하는 한계 존재.

Scanpy 기반의 전처리 파이프라인을 통한 2694개 세포 및 2000개 고변동 유전자 추출 구조 설계
Ribosomal 및 Mitochondrial signal 등 노이즈 유전자를 제거하는 Marker Filtering 로직 도입을 통한 데이터 신뢰도 확보
Hidden Cluster Annotation, Marker Contradiction Detection, Masked Marker Recovery 등 3종의 추론 태스크 패밀리 정의
Public Task와 Hidden Answer를 분리 저장하는 아키텍처를 통한 Answer Leakage 방지 및 평가 객관성 유지
Oracle Outputs 기반의 정답지-근거-신뢰도-논거를 포함한 검증 프레임워크 구축
Docker 및 GitHub Actions CI를 통합하여 환경 독립적인 재현성 보장

실천 포인트

1. 분석 파이프라인 설계 시 결과값뿐 아니라 추론 근거가 되는 Marker 데이터를 별도 필터링하여 정제했는가

2. 평가 데이터셋 구성 시 입력값(Public)과 정답지(Hidden)를 물리적으로 분리하여 Leakage를 차단했는가

3. 단순 정답 일치 여부를 넘어 논거(Rationale)와 신뢰도(Confidence)를 포함한 Oracle Output을 정의했는가

4. Docker 기반의 격리된 환경에서 전체 워크플로우의 재현성이 검증되었는가

태그