Zero-cost LLM 토큰 소모를 달성한 Hermes Agent 기반의 결정론적 Bounty 스캐닝 파이프라인

Context

실시간 프리랜스 바운티 탐색 과정에서 발생하는 과도한 LLM 토큰 비용과 데이터 노이즈를 해결해야 하는 상황. 기존 AI 에이전트의 무분별한 LLM 호출로 인한 비용 증가와 비결정론적 결과 도출이라는 한계점을 극복하고자 함.

Technical Solution

• Hermes Agent를 Orchestrator로 활용하여 3~6시간 간격의 주기적 Cronjob 스케줄링 구조 설계
• 데이터 수집 단계에서 no_agent: true 설정을 통해 LLM 개입을 완전히 배제한 Deterministic 쉘 스크립트 기반 처리 방식 채택
• Keyword-based Relevance Scoring 엔진을 통한 1차 필터링 및 Local Cache를 활용한 중복 제거 로직 구현
• 텍스트 출력이 존재하는 경우에만 Telegram으로 전송하는 Watchdog 패턴을 적용해 불필요한 Notification 제거
• Android/Termux 환경의 제한된 리소스에서도 작동 가능한 경량 런타임 아키텍처 구성

Impact

• LLM 토큰 소모 제로화를 통한 운영 비용 0원 달성
• 개별 스캔 당 2초 미만의 빠른 실행 속도 확보
• 전체 데이터 중 약 30%의 고효율 Signal-to-noise ratio 달성
• 일일 평균 2~4개의 신규 바운티 기회 탐지

Key Takeaway

에이전트 설계 시 모든 단계에 LLM을 적용하기보다, 데이터 수집 및 필터링과 같은 결정론적 작업은 전통적인 스크립트로 처리하고 최종 추론 단계에만 AI를 배치하는 Hybrid 전략이 비용과 효율 면에서 압도적임.