저희 production Kafka 클러스터를 3.7 → 4.0(KRaft)로 옮길 예정입니다. 공식 가이드는 dual-write → KRaft controller quorum → migration finalize로 다운타임 0초라고 하는데, 정말 production에서 진짜 0초 가능했는지 경험담 듣고 싶습니다.
저희 환경
- Kafka 3.7.1 + ZK 3.8, 9 브로커 + 3 ZK
- 피크 처리량: 초당 80만 msg, 400 MB/s
- 토픽 320개, partition 8,400개
- downstream: Flink, Spark, KSQL, 사내 컨슈머 100+
관련해서:
- 실제 다운타임이 0이었나, 아니면 짧은 페일오버 정도는 있었나
- controller quorum 띄울 때 hardware spec은 어떻게 잡았나
- 마이그레이션 중간 단계에서 rollback 해본 사람 있나
- downstream에서 클라이언트 라이브러리 업그레이드 필요했나
댓글 3
12 브로커 클러스터 마이그레이션 1년 전에 진행했습니다. 결론부터 — 다운타임 0초 맞지만 함정이 있습니다.
다운타임 0초 — 정확히는 controller 리더 전환 동안 약 1.4초 publish-block
브로커 자체는 reset 없이 dual-mode → KRaft 전환합니다. 단 controller 리더가 ZK 기반 → KRaft quorum으로 옮기는 순간 leader election이 발생합니다. 그 1.4초 동안 메타데이터 변경(토픽 생성, partition reassign)이 멈춥니다. publish/consume 자체는 멈추지 않습니다. 그래서 "데이터 다운타임 0", "관리 작업 다운타임 1.4초"가 정확.
controller quorum hardware
저희는 별도 노드 3대로 분리 — c7g.xlarge(4 vCPU, 8GB), 디스크 NVMe 100GB. 메타데이터 부담은 작지만 fsync 빈도가 높아 NVMe 필수. EBS gp3로 시도했다가 latency 폭증으로 NVMe로 옮겼습니다.
rollback — 가능하지만 한 번만
migration finalize 전에는 ZK로 rollback 가능. finalize 후에는 일방통행. 저희는 staging에서 dual-mode 단계에서 한 번 rollback 해봤고 정상 동작 확인 후 production 진행. 진짜 production rollback은 안 해봤습니다.
클라이언트 — Kafka 라이브러리 버전
클라이언트최소 호환 버전
kafka-clients(Java)3.5.0
librdkafka(C)2.3.0
kafkajs(Node)2.2.4
confluent-kafka-python2.5.0
Flink Connector4.0 + Kafka 3.5+
의존 라이브러리 100+에서 가장 오래된 게 무엇인지 먼저 점검하세요. 저희는 한 컨슈머가 1.1을 쓰고 있어 그것만 미리 업그레이드.
실제 절차 (저희가 거친 순서)
320 토픽 / 8400 partition 정도면 finalize에 약 90초 걸립니다. 단계별 진행하시면 production 가능합니다.
경험상 가장 큰 함정은 ACL이었습니다. ZK ACL과 KRaft ACL의 저장 방식이 다른데, migration이 ACL을 자동 복사 안 합니다. finalize 후 ACL 없는 클러스터 됨. 사전 export → 사후 import 필수.
저희는 이거 모르고 진행했다가 finalize 직후 모든 컨슈머가 InvalidAuth로 멈췄어요.
참고하세요.