Kafka 컨슈머 lag이 갑자기 폭증하고 rebalance가 반복됩니다

Question

Kafka 컨슈머 그룹의 lag이 주기적으로 폭증하고, 로그를 보면 rebalance가 반복됩니다. 그때마다 처리가 멈췄다 재개돼 지연이 큽니다. 메시지 유입량은 평소와 비슷합니다.

Attempt to heartbeat failed since group is rebalancing
Revoking previously assigned partitions ...

왜 계속 rebalance가 일어날까요?

김영삼 · Accepted Answer

"rebalance 반복 + lag 폭증"은 거의 컨슈머가 poll 주기 안에 메시지를 다 처리 못 해 그룹에서 쫓겨나는 패턴입니다. 처리 시간이 max.poll.interval.ms를 넘으면 브로커가 "죽은 컨슈머"로 보고 파티션을 회수 → rebalance → 또 밀림 → 반복. 점검·해결 한 번에 가져오는 양 줄이기 — max.poll.records를 낮춰 poll 사이 처리량을 줄이세요. 처리 시간 한도 확인 — 무거운 처리면 max.poll.interval.ms를 늘리거나, 처리 자체를 비동기/배치로 최적화. heartbeat와 처리 분리 — 처리가 길면 heartbeat가 막혀 죽은 것으로 오인됩니다. session.timeout/heartbeat 설정을 점검하세요. 긴 GC·외부 호출 지연도 poll 지연의 원인 — 컨슈머 루프 안에서 느린 외부 호출을 줄이세요. 요약: 보통 max.poll.records를 낮추고 처리 시간을 max.poll.interval.ms 안에

kafka_민 · Answer

max.poll.records를 500→100으로 낮추니 rebalance가 멈췄습니다. 그런데 처리량이 좀 줄었는데, 컨슈머를 늘려 파티션을 더 나누는 게 나을까요?

김영삼 · Answer

네, 그게 정석 확장입니다. 단 컨슈머 수 ≤ 파티션 수여야 병렬도가 늡니다(파티션보다 많은 컨슈머는 놀게 됨). 처리량이 부족하면 ① 파티션 수를 늘리고 ② 그만큼 컨슈머를 늘리세요. 파티션을 늘리면 키별 순서 보장 범위가 바뀔 수 있으니 파티셔닝 키 영향도 함께 확인하세요.

kafka_민 · Answer

파티션과 컨슈머를 함께 늘리니 lag도 안정되고 처리량도 회복됐습니다. 원인이 poll 주기였다는 게 핵심이었네요. 감사합니다!

댓글 0