피드로 돌아가기
Dev.toSecurity
원문 읽기
PDF 내 숨겨진 프롬프트 인젝션, 구조 분석으로 100% 탐지
I Built a Tool to Detect Hidden Prompt Injections in PDFs. Here's What I Learned.
AI 요약
Context
PDF 내 흰색 텍스트나 초소형 폰트를 이용한 은닉 지시문 삽입 사례 급증. LLM이 시각적으로 보이지 않는 텍스트를 처리하는 특성을 악용한 AI 평가 조작 및 부정행위 유도 문제 발생.
Technical Solution
- 텍스트 내용 분석의 한계를 극복하기 위해 PDF 내부 구조를 분석하는 structural analysis 방식 도입
- 텍스트 채우기 색상 값이 0.9 이상인 White/Near-white 텍스트 탐지 로직 구현
- 2pt 미만의 초소형 텍스트 및 페이지 경계 밖의 음수 좌표 텍스트 추출 기능을 통한 은닉 영역 식별
- 영어 및 중국어 기반의 주요 인젝션 패턴 30여 종을 정의한 Regex Pattern Matching 보조 레이어 구축
- ML 분류 모델의 분포 변화(Distribution Shift) 문제를 확인하고 텍스트 기반 분류 방식 배제
- pdfplumber 라이브러리를 활용한 캐릭터 레벨의 구조 분석 도구 pdf-injection-scanner 개발
Impact
- 실제 사례 기반 15개 트랩 시나리오 테스트 결과 탐지율 100% 달성
- ML 분류기의 낮은 탐지율(15%~41%) 대비 구조적 분석의 우위 확인
- ManpowerGroup 기준 연간 약 100,000건의 이력서 내 은닉 텍스트 탐지 가능성 확인
Key Takeaway
공격자의 의도를 분석하는 텍스트 기반 방어보다 은닉 메커니즘 자체를 식별하는 구조적 접근 방식이 더 강력한 보안 전략임.
실천 포인트
AI 파이프라인에 PDF 입력값이 포함될 경우, 텍스트 추출 전 폰트 크기 및 색상 값 검증 프로세스를 추가하여 은닉 프롬프트 여부를 우선 확인하십시오.