Flink 2.0 disaggregated state — checkpoint 시간이 3배 늘었습니다

disaggregated state의 checkpoint 시간 증가는 예상된 trade-off입니다. 대신 throughput·메모리·scaling 이점이 큽니다. 운영 패턴 정리.

1. checkpoint 종류 분리 — incremental vs full

state.backend.changelog.enabled: true
state.backend.changelog.storage: filesystem
state.backend.changelog.dstl.dfs.base-path: s3://changelog/

changelog 기반 incremental checkpoint. 30초 → 8초.

2. checkpoint 주기 늘리기 — 5분 → 10분

disaggregated state는 복구 시 S3에서 즉시 fetch. 1.x 대비 복구 시간 자체가 짧음. checkpoint 주기 늘려도 복구 RTO 영향 작음.

execution.checkpointing.interval: 10min
execution.checkpointing.timeout: 5min
execution.checkpointing.max-concurrent-checkpoints: 1

3. checkpoint concurrent 처리

2.0에서 checkpoint와 처리가 더 잘 분리. unaligned checkpoint로 backpressure 영향 최소화.

execution.checkpointing.unaligned: true
execution.checkpointing.alignment-timeout: 30s

4. S3 endpoint 최적화

S3 multi-part upload size 늘리고 concurrent 증가:

fs.s3a.multipart.size: 64MB
fs.s3a.fast.upload.buffer: disk
fs.s3a.threads.max: 200

5. S3 vs S3 Express One Zone

같은 region S3 Express(낮은 지연, 1/3 시간) 사용 검토. 비용 +30%이지만 checkpoint 90s → 22s.

운영 권장

1. changelog enable (1번) — 즉시 적용


2. unaligned + 주기 늘리기 (2,3번)


3. S3 endpoint 튜닝 (4번)


4. 여전히 부족하면 S3 Express (5번)

저희는 1+2+3 적용 후 30초 → 12초. 복구 RTO도 3분 → 1.5분으로 단축. RPO는 10분이 충분합니다.

changelog state backend가 답입니다. 처음 도입 시 안정성 약간 우려했지만 6개월 운영 사고 없어요. 2.0.2 정도면 production ready.