Kafka 컨슈머 그룹의 lag이 주기적으로 폭증하고, 로그를 보면 rebalance가 반복됩니다. 그때마다 처리가 멈췄다 재개돼 지연이 큽니다. 메시지 유입량은 평소와 비슷합니다.
Attempt to heartbeat failed since group is rebalancing
Revoking previously assigned partitions ...
왜 계속 rebalance가 일어날까요?
Kafka 컨슈머 그룹의 lag이 주기적으로 폭증하고, 로그를 보면 rebalance가 반복됩니다. 그때마다 처리가 멈췄다 재개돼 지연이 큽니다. 메시지 유입량은 평소와 비슷합니다.
Attempt to heartbeat failed since group is rebalancing
Revoking previously assigned partitions ...
왜 계속 rebalance가 일어날까요?
댓글 4
"rebalance 반복 + lag 폭증"은 거의 컨슈머가 poll 주기 안에 메시지를 다 처리 못 해 그룹에서 쫓겨나는 패턴입니다. 처리 시간이
max.poll.interval.ms를 넘으면 브로커가 "죽은 컨슈머"로 보고 파티션을 회수 → rebalance → 또 밀림 → 반복.점검·해결
max.poll.records를 낮춰 poll 사이 처리량을 줄이세요.max.poll.interval.ms를 늘리거나, 처리 자체를 비동기/배치로 최적화.요약: 보통
max.poll.records를 낮추고 처리 시간을max.poll.interval.ms안에 들어오게 맞추면 rebalance 루프가 멈춥니다.네, 그게 정석 확장입니다. 단 컨슈머 수 ≤ 파티션 수여야 병렬도가 늡니다(파티션보다 많은 컨슈머는 놀게 됨). 처리량이 부족하면 ① 파티션 수를 늘리고 ② 그만큼 컨슈머를 늘리세요. 파티션을 늘리면 키별 순서 보장 범위가 바뀔 수 있으니 파티셔닝 키 영향도 함께 확인하세요.