Gemini Nano 내장 API 기반 Zero-Cost 온디바이스 AI 아키텍처 구현

Context

기존 LLM 기능 구현 시 API Key 관리와 토큰 기반 과금 체계로 인한 높은 운영 비용 발생. 데이터가 외부 서버로 전송되는 구조적 한계로 인해 개인정보 보호 및 네트워크 지연 문제 상존.

Technical Solution

• Chrome 내장 Gemini Nano 모델과 Prompt API를 활용한 Client-side Inference 구조 설계
• availability() 메서드를 통한 하드웨어 지원 여부 및 모델 다운로드 상태의 런타임 Feature Detection 구현
• 소형 모델의 낮은 신뢰도를 극복하기 위해 Mermaid Parser를 Source of Truth로 설정한 검증 계층 도입
• '추론 -> 파싱 검증 -> 에러 피드백 -> 1회 재추론'으로 이어지는 Self-correction 루프를 통한 출력 정밀도 확보
• session.destroy() 명시적 호출을 통한 온디바이스 메모리 자원 최적화
• foreignObject 대신 SVG text 렌더링 방식을 채택하여 Tainted Canvas 보안 제약 해결 및 PNG 내보내기 기능 구현