How to scan for vulnerabilities with GitHub Security Lab’s open source AI-powered framework

Context

보안 연구자들은 수동 코드 감사 과정에서 실제로 악용 불가능한 잠재적 취약점에 많은 시간을 소비하고 있다. 기존 방식으로는 발견하기 어려운 복잡한 논리 결함(인증 우회, 정보 공개)을 효율적으로 검출할 방법이 부족했다.

Technical Solution

• Taskflow Agent 프레임워크 도입: YAML 파일로 LLM이 순차적으로 실행할 다단계 감사 작업 정의
• 컴포넌트 기반 분석 방식: 리포지토리를 기능별로 분할한 후 각 컴포넌트의 진입점, 권한 레벨, 목적을 개별 분석
• 다단계 프롬프트 체인 구조: 리포지토리 분류 → 컴포넌트 정보 수집 → 일반 이슈 제안 → 세부 감사로 LLM 컨텍스트 윈도우 제한 우회
• 템플릿 기반 병렬 실행: 동일한 감사 프롬프트를 모든 컴포넌트에 비동기로 적용하며 컴포넌트별 세부사항 자동 치환
• SQLite 결과 저장소 활용: 감사 결과를 데이터베이스에 저장하여 단계별 검증 및 디버깅 가능하도록 구조화

Impact

• 80개 이상의 취약점 발견 (보고 시점 기준)
• 발견 취약점 중 약 20개 공개됨
• 인증 우회 및 정보 공개 등 고영향도 취약점으로 균일한 심각도 유지
• 중간 규모 리포지토리 감사 소요 시간: 약 1~2시간

Key Takeaway

LLM의 제한된 컨텍스트 윈도우를 다단계 YAML 기반 워크플로우로 분할하면 복잡한 보안 감사를 자동화할 수 있으며, 감사 결과의 비결정성(Non-deterministic) 특성을 고려해 동일 코드베이스에서 여러 모델·여러 회차로 실행하면 발견 정확도를 향상시킬 수 있다.