Redis Cluster에 노드 1대 추가하고 slot 재배치를 했습니다. 재배치는 정상 종료됐는데, 일부 키 GET 시 (nil)이 반환됩니다. 노드에 직접 들어가서 KEYS *로 보면 키는 분명히 있어요.
환경
- Redis 8.0, Cluster 6 노드 (master 6)
- node-redis 4.7 클라이언트
- 재배치 명령:
redis-cli --cluster reshard ... --from all --to NEW --slots 4096 --yes
증상:
- 전체 키 중 약 12%가 GET에서 nil 응답
- 같은 클라이언트로 SCAN하면 조회됨
- redis-cli로 직접 노드 들어가서 GET하면 정상
MOVED를 따라가야 하는데 클라이언트가 못 따라가는 것 같습니다. 원인이 뭘까요?
댓글 4
전형적인 클라이언트 slot map 캐시 불일치입니다. 원인은 두 가지 중 하나입니다.
원인 1 — node-redis 자동 갱신 옵션 미설정
node-redis는 기본적으로 첫 연결 시 cluster topology를 받아 캐시합니다. MOVED 응답을 받으면 그 키만 새 노드로 redirect는 하지만 전체 slot map을 refresh하지 않습니다. 그래서 같은 노드의 다른 키도 모두 잘못된 노드로 가서 nil 응답.
또는 MOVED 응답 받을 때마다 강제 갱신:
원인 2 — 일부 슬롯이 migrating/importing 중간 상태
--yes 옵션을 줬어도 reshard 마지막에 cluster setslot stable이 모든 슬롯에 정상 적용됐는지 확인 필요. 한두 슬롯이 IMPORTING이나 MIGRATING 상태로 남으면 ASK redirect 발생, 클라이언트가 ASKING 명령 안 보내면 nil.
즉시 확인할 것
redis-cli --cluster check— 모든 슬롯이 OK인지CLUSTER COUNTKEYSINSLOT slotN— 키 분포 정상인지node-redis v5는 자동 갱신이 기본값이라 이 문제가 줄어듭니다. 가능하면 업그레이드도.
저는 비슷한 증상이 ioredis 5.5에서도 났습니다.
scaleReads: 'master'옵션을 빼면 replica로 read가 가는데 replica가 slot 변경을 늦게 반영해서 stale read가 발생합니다. cluster에 replica 있으면 이것도 의심해보세요.해결되셨다면 답 글로 마무리해주세요. 비슷한 문제 검색해서 찾아오는 분들 많을 것 같습니다.