SQLite 정밀도 버그 해결 및 PostgreSQL Keyset Pagination을 통한 성능 최적화

Context

SQLite의 generate_series 함수가 REAL 타입 경계값 처리 중 반올림 오류를 발생시켜 데이터 무결성을 저해하는 문제 발생. PostgreSQL의 OFFSET 기반 Pagination은 페이지 깊이가 깊어질수록 스캔 대상 row가 증가하여 응답 시간이 30초까지 급증하는 성능 병목 현상 노출.

Technical Solution

• SQLite의 Constraint Pushdown 최적화 과정에서 발생하는 Floating-point rounding 오류를 방지하기 위한 Integer 기반 sequence 생성 방식 채택
• 2^53 근방의 REAL 경계값 사용 시 명시적 Casting 또는 애플리케이션 레벨의 검증 로직 도입을 통한 정밀도 확보
• PostgreSQL의 불필요한 Row 스캔을 제거하기 위해 OFFSET을 배제한 Keyset Pagination 구조로 전환
• 이전 페이지의 마지막 row 값을 조건절(WHERE)에 포함하여 Index Scan을 유도하는 Cursor-based 접근법 적용
• 대규모 테이블 복제 시 Boundary Slicing 기법을 통해 데이터를 PK 또는 Timestamp 기반의 소규모 Slice로 분할하여 병렬 처리 및 복구 효율성 극대화

Impact

• PostgreSQL Pagination의 응답 시간을 페이지 1000 기준 30초에서 Keyset 방식을 통한 상수 시간 수준으로 단축

Key Takeaway

Query Optimizer의 최적화 가정이 특정 데이터 타입(REAL)의 정밀도와 충돌할 때 데이터 무결성 이슈가 발생함을 인지하고, 대규모 데이터셋 처리 시 Scan 범위를 물리적으로 제한하는 Keyset 및 Slicing 전략을 설계에 반영해야 함.