1,000개 학습 리소스 자동화, NotebookLM 기반 AI 학습 파이프라인 구축

Context

roadmap.sh의 Backend 로드맵은 130개 이상의 노드와 1,000개에 가까운 리소스를 포함함. 수동 복사-붙여넣기로 NotebookLM에 데이터를 입력하는 방식은 물리적 시간 소모가 극심한 구조. 효율적인 학습을 위한 데이터 수집 및 주입 자동화가 필요한 상황.

Technical Solution

• roadmap.sh 오픈소스 저장소의 JSON 및 Markdown 파일을 재귀적으로 탐색하는 스크래퍼 설계
• notebooklm-py 라이브러리를 활용해 Google 내부 API 기반의 노트북 생성 및 소스 업로드 자동화
• AI의 정확한 문맥 파악을 위해 각 주제별 배경 정보를 담은 Context Markdown 파일 생성 및 함께 업로드
• 단시간 대량 요청으로 인한 Google API 차단을 방지하기 위해 asyncio.sleep을 통한 요청 간격 제어 로직 도입
• InquirerPy 기반의 Fuzzy Search CLI를 구현하여 대량의 노트북 중 특정 주제의 학습 자료만 선택적으로 생성하는 인터페이스 구축

Key Takeaway

단순 반복 작업의 자동화를 통해 학습 데이터 파이프라인을 구축함으로써 정보 습득의 밀도를 높이는 엔지니어링 접근 방식.