피드로 돌아가기
Dev.toAI/ML
원문 읽기
Qwen 2.5 1.5B와 5-Agent 파이프라인을 통한 고정밀 법률 리스크 분석 시스템 구축
ClauseGuard — Technical Walkthrough
AI 요약
Context
단일 프롬프트를 통한 추출, 분류, 점수 산정 방식의 불일치 및 분석 깊이 부족 문제 발생. 소규모 LLM 사용 시 발생하는 구조적 출력의 불안정성과 법률 문서의 복잡한 제약 사항 해결 필요.
Technical Solution
- Extractor부터 Reporter까지 5단계의 전문화된 Agent Pipeline 설계를 통한 태스크 분리 및 분석 정밀도 향상
- Pydantic 기반의 엄격한 Schema 정의 및 Enum 적용으로 Agent 간 데이터 전달의 Type Safety 확보
- AsyncOpenAI 기반의 Lazy Singleton 서비스 레이어 통합을 통한 중복 코드 150라인 제거 및 타임아웃/재시도 로직 단일화
- 결정 트리 방식의 Severity Rubrics 도입을 통한 1.5B 소형 모델의 정성적 판단을 정량적 기준으로 치환
- PyMuPDF와 pdfplumber의 Fallback 체계 구축을 통한 스캔 PDF 및 다양한 인코딩 문서 처리 대응
- asyncio.wait_for 기반의 에러 격리 및 부분 결과 반환 구조 설계를 통한 시스템 가용성 극대화
실천 포인트
1. 소형 모델 사용 시 텍스트 설명보다 구체적인 JSON Schema와 입출력 예시를 프롬프트에 포함했는가
2. 각 LLM 호출 단계에 독립적인 타임아웃과 Fallback 전략을 설계하여 전체 파이프라인의 붕괴를 방지했는가
3. 모델 서비스 레이어를 싱글톤으로 분리하여 재시도 및 정제 로직의 중복을 제거했는가
4. 정성적 판단이 필요한 영역에 명확한 판단 기준(Decision Tree)을 정의하여 일관성을 확보했는가