피드로 돌아가기
Dev.toAI/ML
원문 읽기
EU AI Act 준수를 위한 Audit-Native Graph-RAG 설계 및 검증
Two Pre-Registered Benchmarks for Audit-Native RAG: RAB (EU AI Act 10/12/19) + LRB (Time-Travel Retrieval)
AI 요약
Context
기존 RAG 시스템의 단순 로그 기록 방식으로는 결정 과정의 완전한 재현(Replay)과 시점별 데이터 복원(Time-Travel)이 불가능한 한계 존재. 특히 규제 준수를 위한 감사 추적성(Audit Trail) 결여로 인해 EU AI Act의 기록 보관 의무 대응에 취약한 구조임.
Technical Solution
- EU AI Act Art. 10, 12, 19를 기반으로 Audit Completeness, Replay Fidelity, Provenance Coverage 지표를 설계한 RAB 벤치마크 도입
- Local-first 기반의 Graph-RAG 아키텍처를 통해 모든 결정 관련 이벤트의 결정론적 로깅 체계 구축
- 특정 시점의 지식 상태를 재구성하는
reconstruct_graph_at(t)함수를 통한 Validity-window Retrieval 로직 구현 - 최신 데이터가 기존 데이터를 덮어쓰는 Naive-supersede 방식 대신 시간 축 기반의 그래프 상태 관리 전략 채택
- Ollama와 ChromaDB를 활용하여 외부 클라우드 의존성을 제거한 완전 로컬 실행 환경 구성
Impact
- RAB 벤치마크 S1 시나리오에서 Baseline-0(AC 0.275, RF 0, PC 0) 대비 JAMES 1.0의 전 지표 1.000 달성
- LRB 벤치마크 S3 스케일에서 R@1 기준 Vanilla(0.502), Naive(0.721) 대비 JAMES 0.845의 성능 우위 입증
실천 포인트
- AI 서비스 설계 시 단순 로그 저장이 아닌 결정 과정의 완전한 재현 가능성(Replayability) 검토 - 데이터 변경 이력이 중요한 도메인에서 최신 값 유지 방식 대신 유효 기간 기반의 Time-aware Retrieval 도입 고려 - 규제 대응을 위해 기술 지표와 법적 조항(예: EU AI Act)을 직접 매핑한 검증 체계 구축