Star 수의 함정 탈출, 행동 지표 기반 AI 프레임워크 신뢰도 측정

Context

GitHub Star나 문서 품질 같은 표면적 지표는 조작 가능성이 높음. 프로젝트의 장기적 생존 가능성과 실질적 유지보수 상태를 판단할 객관적 기준 부족. 실제 투입된 시간과 비용을 기반으로 하는 행동 기반 신뢰 측정 체계 필요.

Technical Solution

• 위조 난이도에 따른 5가지 행동 신호 가중치 설계
• Longevity(30%)와 Recent activity(25%)를 최상위 지표로 설정하여 지속 가능성 검증
• Community(20%) 및 Release cadence(15%)를 통한 협업 생태계와 배포 안정성 분석
• Social proof(10%)를 최저 가중치로 할당하여 단순 인기도의 영향력 최소화
• 2년 이상 업데이트가 없는 프로젝트에 50% 감점을 부여하는 패널티 로직 적용
• MCP server 형태로 도구를 구현하여 Claude, Cursor 등 LLM 클라이언트에서 실시간 레포지토리 점수 조회 가능 구조

Impact

• openai/openai-python, deepset-ai/haystack 점수 95/100 기록
• microsoft/autogen의 경우 57k Star를 보유했으나 최근 30일 커밋 2회로 인해 최종 점수 67점 기록
• pydantic/pydantic-ai는 운영 기간 1.8년에도 불구하고 30일 내 93회 커밋으로 84점 획득

Key Takeaway

정적인 콘텐츠 지표보다 커밋 이력, 릴리스 주기, 기여자 성장세 같은 행동 데이터가 프로젝트의 실제 신뢰도를 결정하는 핵심 척도임.