24% False-cut 전략을 통한 100% Source-verified 문제 생성 파이프라인 구축

Building a CompTIA practice-test engine that gives students source-verified questions

Henry Yau2026년 6월 20일5분intermediate

AI 요약

Context

기존 AI 생성 퀴즈 시스템의 주관적 리뷰 방식은 확장성 결여와 낮은 재현성으로 인해 정답의 정확성을 보장하지 못하는 한계 존재. 특히 잘못된 학습 정보 제공 시 사용자에게 치명적인 비용을 발생시키는 비대칭적 실패 구조를 가짐.

Source Receipt 구조 도입을 통해 모든 정답에 대해 원문 텍스트 추출물(Excerpt)을 강제 결합한 데이터 모델 설계
Generator와 Adversarial Verifier의 대립 구조를 통해 생성된 문제의 논리적 결함을 공격하고 검증하는 2단계 파이프라인 구축
CI 환경 내 check-mocks.mjs 스크립트를 배치하여 데이터 구조 무결성과 Receipt 존재 여부를 자동 검증하는 Gate 설계
Official Blueprint의 도메인 가중치를 기준으로 생성된 문제 분포를 강제 조정하는 blueprint-sum Gate 적용
신뢰도 임계값 미달 시 무조건 폐기하는 NO-GO Gate를 통해 정밀도(Precision)를 극대화한 필터링 로직 구현
정적 호스팅 기반의 vanilla JS와 Cloudflare Pages를 채택하여 런타임 복잡도를 제거하고 파이프라인의 정적 무결성에 집중한 스택 구성

실천 포인트

1. AI 생성 콘텐츠의 검증을 단순 리뷰가 아닌 데이터 기반의 증거(Receipt) 결합 구조로 설계했는가

2. 생성자와 검증자를 분리한 Adversarial 구조를 통해 Edge Case를 필터링하고 있는가

3. 실패 비용의 비대칭성을 분석하여 정밀도와 재현율 중 어느 쪽에 가중치를 둘지 결정했는가

4. 데이터 무결성 검사를 런타임이 아닌 CI/CD 파이프라인 단계에서 강제하고 있는가

태그