Cilium 1.18 → Hubble로 east-west 트래픽 분석 — Prometheus 메모리 너무 큼

Question

Cilium 1.18 Hubble로 east-west 트래픽 시각화 중. 가시성은 좋은데 Prometheus 메모리가 28GB로 폭증. metric series 분석하니 1.4M series.

# 주요 high-cardinality metric
hubble_flows_processed_total
  {source_pod=..., dest_pod=..., destination_port=...}

# pod 수 = 800
# pod 페어 = 800 × 800 = 640K series
# × port 다양 = 1.4M

Hubble 가시성 유지하면서 Prometheus 부담 줄이는 패턴 있나요?

김영삼 · Accepted Answer

Hubble의 metric high-cardinality는 흔한 문제입니다. 3단계 접근. 1. metric scope 줄이기 Cilium configmap에서 metric label 명시 제거: # cilium-config hubble: metrics: enabled: - "flow:sourceContext=namespace;destinationContext=namespace" # pod 대신 namespace로 cardinality 다운 - "drop" - "tcp" - "policy" 변경 후 — pod별 1.4M → namespace별 30K series. 95% 절감. 2. recording rules로 aggregation Prometheus에서 자주 보는 view를 미리 aggregation. raw metric은 짧게 보관. groups: - name: hubble_aggregated interval: 30s rules: - record: hubble:flows_by_

서버지기영호 · Answer

Mimir(Grafana)로 Prometheus 대체도 옵션입니다. Mimir는 long-term storage S3 직결 + horizontal scale. high-cardinality에 강합니다. 다만 운영 복잡도 추가.

cilium_user · Answer

Hubble + Cilium 운영 자료 부족한 게 사실입니다. Hubble enterprise (Isovalent) 가입하면 dashboard + 운영 가이드 많이 받아요. 큰 클러스터면 검토할 만.

댓글 0