본문 바로가기
2026년 5월 18일1분 읽기

Kafka 3.7 → 4.0 KRaft 마이그레이션 다운타임 정말 0초로 됩니까

김
김영삼
조회 820댓글 3

저희 production Kafka 클러스터를 3.7 → 4.0(KRaft)로 옮길 예정입니다. 공식 가이드는 dual-write → KRaft controller quorum → migration finalize로 다운타임 0초라고 하는데, 정말 production에서 진짜 0초 가능했는지 경험담 듣고 싶습니다.

저희 환경

  • Kafka 3.7.1 + ZK 3.8, 9 브로커 + 3 ZK
  • 피크 처리량: 초당 80만 msg, 400 MB/s
  • 토픽 320개, partition 8,400개
  • downstream: Flink, Spark, KSQL, 사내 컨슈머 100+

관련해서:

  1. 실제 다운타임이 0이었나, 아니면 짧은 페일오버 정도는 있었나
  2. controller quorum 띄울 때 hardware spec은 어떻게 잡았나
  3. 마이그레이션 중간 단계에서 rollback 해본 사람 있나
  4. downstream에서 클라이언트 라이브러리 업그레이드 필요했나

댓글 3

김김영삼6개월 전

12 브로커 클러스터 마이그레이션 1년 전에 진행했습니다. 결론부터 — 다운타임 0초 맞지만 함정이 있습니다.


다운타임 0초 — 정확히는 controller 리더 전환 동안 약 1.4초 publish-block


브로커 자체는 reset 없이 dual-mode → KRaft 전환합니다. 단 controller 리더가 ZK 기반 → KRaft quorum으로 옮기는 순간 leader election이 발생합니다. 그 1.4초 동안 메타데이터 변경(토픽 생성, partition reassign)이 멈춥니다. publish/consume 자체는 멈추지 않습니다. 그래서 "데이터 다운타임 0", "관리 작업 다운타임 1.4초"가 정확.


controller quorum hardware


저희는 별도 노드 3대로 분리 — c7g.xlarge(4 vCPU, 8GB), 디스크 NVMe 100GB. 메타데이터 부담은 작지만 fsync 빈도가 높아 NVMe 필수. EBS gp3로 시도했다가 latency 폭증으로 NVMe로 옮겼습니다.


rollback — 가능하지만 한 번만


migration finalize 전에는 ZK로 rollback 가능. finalize 후에는 일방통행. 저희는 staging에서 dual-mode 단계에서 한 번 rollback 해봤고 정상 동작 확인 후 production 진행. 진짜 production rollback은 안 해봤습니다.


클라이언트 — Kafka 라이브러리 버전


클라이언트최소 호환 버전
kafka-clients(Java)3.5.0
librdkafka(C)2.3.0
kafkajs(Node)2.2.4
confluent-kafka-python2.5.0
Flink Connector4.0 + Kafka 3.5+

의존 라이브러리 100+에서 가장 오래된 게 무엇인지 먼저 점검하세요. 저희는 한 컨슈머가 1.1을 쓰고 있어 그것만 미리 업그레이드.


실제 절차 (저희가 거친 순서)



  1. (주 1) 의존 라이브러리 sweep & 업그레이드

  2. (주 2) 3.7로 통일

  3. (주 3) controller quorum 노드 3대 띄우고 dual-mode 진입 — 이 단계 1주일 운영

  4. (주 4) 모니터링 깨끗하면 migration finalize. 1.4초 leader election. 끝

  5. (주 5) ZK 클러스터 종료, 모니터링 alert 정리


320 토픽 / 8400 partition 정도면 finalize에 약 90초 걸립니다. 단계별 진행하시면 production 가능합니다.

서서버지기영호6개월 전

경험상 가장 큰 함정은 ACL이었습니다. ZK ACL과 KRaft ACL의 저장 방식이 다른데, migration이 ACL을 자동 복사 안 합니다. finalize 후 ACL 없는 클러스터 됨. 사전 export → 사후 import 필수.


kafka-acls.sh --bootstrap-server ... --list --principal '*' > acls.txt
# finalize 후
kafka-acls.sh --bootstrap-server ... --add ... < acls.txt

저희는 이거 모르고 진행했다가 finalize 직후 모든 컨슈머가 InvalidAuth로 멈췄어요.


참고하세요.

신신예림(guest)6개월 전
320 토픽 / 8400 partition 정도면 metadata snapshot 크기가 약 200MB 됩니다. controller quorum 노드의 fsync 성능이 결정적입니다. 저희는 io1 EBS로 했다가 fsync 지연으로 leader election이 12초 걸렸어요. NVMe 권장 맞습니다.
Ctrl+Enter로 등록