피드로 돌아가기
Dev.toFrontend
원문 읽기
API 비용 0원, Electron 기반 6개 LLM 병렬 오케스트레이션 구현
How I ran 6 LLMs in parallel without paying a cent in API fees (Electron + DOM Injection)
AI 요약
Context
다수 LLM의 교차 검증을 통한 답변 신뢰도 향상 필요성 증대. 기존 Official API 활용 시 발생하는 고비용 구조와 순차적 호출로 인한 Latency 증가가 핵심 병목 지점으로 작용.
Technical Solution
- Electron BrowserView를 활용한 6개 모델 웹 인터페이스의 독립적 인스턴스화
- DOM Injection 방식을 통한 텍스트 입력 및 전송 버튼 클릭 이벤트 시뮬레이션으로 API 호출 대체
- Fan-out/Fan-in 패턴을 적용하여 Primary AI의 초안을 5개 리뷰 모델에 동시 브로드캐스팅하는 구조 설계
- Promise.allSettled 기반의 비동기 제어로 개별 모델의 응답 지연이 전체 프로세스에 미치는 영향 최소화
- MutationObserver를 통한 DOM 상태 모니터링으로 스트리밍 텍스트 생성 완료 시점 감지 로직 구현
- 개별 Wrapper별 Timeout 및 Fallback 메커니즘을 구축하여 특정 UI 변경으로 인한 시스템 행(Hang) 현상 방지
실천 포인트
- API 비용 최적화가 절실한 프로토타입 단계에서 Headless Browser 기반의 UI 자동화 검토 - 다수 외부 서비스의 병렬 처리 시 특정 노드의 장애가 전체 시스템으로 전이되지 않도록 독립적 Timeout 설정 - 정형화된 API가 없는 환경에서 MutationObserver를 활용한 상태 기반 이벤트 드리븐 설계 적용