Notion API와 LLM 조합으로 비용 95% 절감한 DIY AI 설계

Context

SaaS 기반 Notion AI Business의 높은 인당 구독 비용과 데이터 파이프라인 제어권 부재에 따른 한계 발생. 단순 Workspace Q&A 기능을 위해 월 $20의 고정 비용을 지불하는 비효율적인 구조 분석.

Technical Solution

• Notion API를 Data Layer로 활용하여 최근 수정된 페이지 기반의 컨텍스트 추출 구조 설계
• GPT-4o-mini 및 Claude-3-5-Haiku 등 저비용 고효율 LLM을 AI Layer로 채택하여 토큰 비용 최적화
• 별도의 프레임워크 없이 Notion API-Glue Function-LLM API로 이어지는 경량 Pipeline 구축
• Recursive Fetching을 통한 Nested Block 처리 및 Rate Limit(3 req/sec) 대응을 위한 Throttling 로직 적용
• Naive Truncation 방식을 통해 50페이지 미만의 컨텍스트를 효율적으로 LLM 프롬프트에 주입하는 전략 사용
• API 기반의 직접 구현으로 데이터 흐름 제어권 확보 및 모델 선택의 유연성 강화