StarRocks 메모리 불안정성과 데이터 정확도 버그로 엔터프라이즈 운영 리스크 높아

Context

StarRocks는 컬럼너 스토리지와 벡터라이즈드 실행 엔진으로 빠른 분석 쿼리를 지원하지만 메모리 관리와 데이터 정확도에서 심각한 한계를 보인다. 30개 이상의 GitHub 이슈에서 BE 노드 OOM 크래시와 메모리 리크가 5년 넘게 반복적으로 보고되고 있다. Iceberg 캐시 데이터 불일치, Arrow Flight 행 삭제, RAND() 푸시다운 빈 결과 등 경고 없이 잘못된 결과를 반환하는 세 가지 독립적 데이터 정확도 버그가 존재한다.

Technical Solution

• [BE 노드] → 메모리 리밋 설정 및 쿼리별 메모리 추적 강화
• [쿼리 실행] → 데이터 정확도 검증 로직 추가 및 캐시 무효화 정책 구현
• [인제스트 파이프라인] → StreamLoad 폴백 메커니즘 및 Kafka Connect 재연결 로직 구현
• [CBO 옵티마이저] → 최신 통계 기반 실행 계획 재갱신 주기 단축
• [운영 환경] → 3 FE 3 BE 최소 구성 및 NTP 동기화 설정

Impact

쿼리 성능 저하는 통계 갱신 후 최대 10배 발생하며, 인제스트 작업 중지는 전체 클러스터에 영향을 미친다. 데이터 정확도 버그는 경고 없이 잘못된 결과를 반환하여 비즈니스 의사결정에 직접적 영향을 준다.

Key Takeaway

빠른 쿼리 성능만으로 엔터프라이즈 준비 상태를 판단할 수 없으며, 데이터 정확도와 운영 안정성이 프로덕션 환경의 핵심 평가 기준이다.