OpenTelemetry Collector 0.110에서 메모리가 점진적으로 증가합니다

Question

OpenTelemetry Collector contrib 이미지 0.110으로 업그레이드했더니 메모리 사용량이 시간이 지날수록 계속 증가합니다.

0.105 시점에는 안정적으로 1~1.5GB에 머물렀는데 0.110은 24시간 후 4GB까지 늘어납니다. 누수 의심인데 어떻게 진단하나요?

김영삼 · Accepted Answer

OpenTelemetry Collector 0.110의 알려진 이슈입니다. 0.108~0.110 사이에 도입된 batch processor 변경과 일부 receiver의 cardinality 처리 차이가 합쳐진 결과입니다.1) 즉시 진단 — pprof 활성화extensions:
  pprof:
    endpoint: 0.0.0.0:1777

service:
  extensions: [pprof]
  pipelines:
    ...# heap profile 다운로드
go tool pprof http://collector:1777/debug/pprof/heap
# (pprof) top 20
# 가장 메모리 점유 큰 함수 보기대부분 케이스에서 metrics receiver 또는 batch processor에 큰 점유가 보입니다.2) 흔한 원인 #1 — high cardinality metric특정 라벨 조합이 폭발적으로 증가하면 prometheusremotewrite·prometheu

댓글 0