Flink 2.x 기반 StateFun Fork를 통한 분산 상태 관리 최적화

We forked Apache Stateful Functions for Flink 2.x — here's why

Oleksandr Kazimirov2026년 5월 3일9분advanced

AI 요약

Context

Apache Stateful Functions의 메인테넌스 중단으로 인한 Flink 2.x 미지원 문제 발생. Java 11 기반의 레거시 스택과 로컬 디스크 성능 제약에 따른 Horizontal Scaling 한계 직면.

Disaggregated State 도입을 통한 RocksDB 상태 저장소의 Object Storage 분리로 로컬 디스크 용량 제약 해결
Java 11에서 Java 21로 런타임 업그레이드를 통한 최신 JVM 성능 최적화 및 언어 기능 활용
KinesisStreamsSource 및 Sink 기반의 커넥터 재설계로 Flink 2.x의 최신 Source/Sink API 표준 준수
Bytecode-level Relocation 방식의 maven-shade-plugin 도입을 통한 Protobuf 의존성 충돌 제거
Exactly-once messaging과 per-key durable state 모델을 유지하며 Flink 2.x의 엄격해진 Type System 반영

실천 포인트

1. 상태 기반 서비스 설계 시 로컬 디스크 의존성을 낮추기 위한 Disaggregated State 구조 검토

2. 오픈소스 프레임워크의 관리 중단 시 핵심 API 호환성을 유지하는 Fork 및 마이그레이션 전략 수립

3. 대규모 상태 관리 시스템에서 Exactly-once 보장과 가용성 간의 Trade-off 분석

4. JVM 버전 업그레이드 시 바이트코드 수준의 의존성 격리 필요성 확인

태그