반복되는 AI 오류를 자동 학습하는 리뷰 엔진 Lysis

Context

AI 리뷰 시스템의 무상태성(Stateless)으로 인한 기억 상실 문제 발생. 동일한 유형의 오류가 반복적으로 나타나도 매번 처음부터 다시 탐지하는 구조적 한계 존재. 인간 리뷰어의 패턴 인식 능력을 모방한 지속적 학습 체계 필요.

Technical Solution

• 동일 모델의 편향성을 제거하기 위해 생성 모델과 리뷰 모델을 분리하는 Cross-model Review 전략 채택
• 발견된 이슈에 고유 Fingerprint(예: security::sql_injection)를 부여하여 정형화된 데이터로 관리하는 방식
• 특정 이슈의 발견 횟수가 임계치에 도달하면 이를 영구 체크리스트(Permanent Check)로 승격시키는 진화형 파이프라인 설계
• 도구 독립적인 Core 레이어와 특정 환경(Claude Code)을 연결하는 Adapter 레이어로 분리한 유연한 아키텍처 적용
• CLI 기반 모델이라면 입력-리뷰-판정의 Reviewer Contract만 준수하면 플러그인 형태로 연결 가능한 확장 구조

Impact

• OWASP 보안 벤치마크 5개 카테고리 전수 탐지 및 총 14개 이슈 식별
• 비즈니스 문서 벤치마크 5개 카테고리 전수 탐지 및 총 39개 이슈 식별

Key Takeaway

단순한 1회성 판정을 넘어 반복되는 오류 패턴을 시스템의 제약 조건으로 내재화하는 피드백 루프 설계의 중요성.