피드로 돌아가기
Dev.toAI/ML
원문 읽기
AI Fluency Index 기반 사용자 행동 분석 및 성장 퀘스트 파이프라인 구축
When 'getting faster' isn't the same as 'getting better'
AI 요약
Context
사용자의 AI 활용 능력을 측정하는 AI Fluency Index의 11가지 행동 지표가 존재하나, 개별 사용자가 자신의 활용 패턴을 객관적으로 파악하기 어려운 한계 존재. 대규모 세션 데이터의 실시간 분류와 피드백 루프를 제공하는 자동화된 분석 시스템의 필요성 대두.
Technical Solution
- 4D AI Fluency Framework 중 로그 분석이 가능한 Description, Discernment, Delegation 3개 축을 선택한 데이터 스코핑
- 로컬 세션 파일 추출 후 Fly.io 인프라 기반의 Claude Haiku 모델을 통한 원격 분류 파이프라인 설계
- 분석 결과의 시각적 전달을 위해 7가지 Archetype 기반의 카드 렌더링 및 Stable URL 생성 로직 구현
- SessionStart Hook을 활용하여 도출된 성장 퀘스트를 다음 세션으로 유지시키는 상태 관리 메커니즘 적용
- 실행 환경에 따른 상태 저장소 분리(Claude Code는 ~/.skill-tree/, Cowork는 $CLAUDE_PLUGIN_ROOT/.user-state/)를 통한 환경 적응적 설계
- MCP server 구현을 통해 Cursor, VS Code 등 다양한 IDE 환경으로 확장 가능한 인터페이스 제공
실천 포인트
1. 로그 데이터에서 분석 가능한 지표(Observable Behavior)와 불가능한 지표를 명확히 구분하여 데이터 스코프 설정
2. 환경별로 상이한 파일 시스템 제약(Ephemeral Home 등)을 고려한 유연한 상태 저장 전략 수립
3. MCP(Model Context Protocol) 표준 채택을 통한 도구 간 상호운용성 및 확장성 확보