WAL 기반 Push 세만틱으로 SQLite 단일 파일 내 Durable Pub/Sub 구현

Context

SQLite 기반 프로젝트에서 Pub/Sub 및 Task Queue 구현 시 Redis와 Celery 같은 외부 Broker 도입으로 인한 운영 오버헤드 발생. 별도 데이터 저장소 사용에 따른 Backup 복잡도 증가 및 비즈니스 데이터와 큐 간의 Dual-write 문제로 인한 데이터 정합성 결여가 주요 한계점으로 작용.

Technical Solution

• SQLite WAL 파일의 Event Notification을 활용한 Polling 제거 및 Push 세만틱 구현
• 비즈니스 테이블과 Queue를 동일한 .db 파일 내 배치하여 단일 Transaction 범위 내 원자적 Commit/Rollback 보장
• Queue를 Partial Index가 적용된 테이블 행으로 정의하여 작업 상태 관리 및 조회 성능 최적화
• Rust로 작성된 Core Logic을 Loadable Extension 형태로 제공하여 언어 제약 없는 얇은 Wrapper 구조 설계
• Consumer별 Offset 관리 테이블을 통한 Durable Stream 구현 및 1초/1000개 이벤트 단위의 Flush 인터벌 설정
• 지수 백오프(Exponential Backoff)가 적용된 선언적 재시도 메커니즘 및 Dead-letter 테이블을 통한 오류 격리