OpenTelemetry Collector contrib 이미지 0.110으로 업그레이드했더니 메모리 사용량이 시간이 지날수록 계속 증가합니다.
0.105 시점에는 안정적으로 1~1.5GB에 머물렀는데 0.110은 24시간 후 4GB까지 늘어납니다. 누수 의심인데 어떻게 진단하나요?
OpenTelemetry Collector contrib 이미지 0.110으로 업그레이드했더니 메모리 사용량이 시간이 지날수록 계속 증가합니다.
0.105 시점에는 안정적으로 1~1.5GB에 머물렀는데 0.110은 24시간 후 4GB까지 늘어납니다. 누수 의심인데 어떻게 진단하나요?
댓글 1
OpenTelemetry Collector 0.110의 알려진 이슈입니다. 0.108~0.110 사이에 도입된 batch processor 변경과 일부 receiver의 cardinality 처리 차이가 합쳐진 결과입니다.
1) 즉시 진단 — pprof 활성화
대부분 케이스에서 metrics receiver 또는 batch processor에 큰 점유가 보입니다.
2) 흔한 원인 #1 — high cardinality metric
특정 라벨 조합이 폭발적으로 증가하면 prometheusremotewrite·prometheus exporter가 누적합니다.
흔한 가해자:
해결 — transform processor로 cardinality 줄이기
3) 흔한 원인 #2 — batch processor 동작 변경
0.108부터 batch processor가 per-resource batching으로 바뀌면서 일부 워크로드에서 batch가 작게 형성되고 메모리에 오래 남는 현상이 있습니다.
4) 흔한 원인 #3 — memory_limiter 부재
memory_limiter는 항상 첫 번째 processor여야 합니다. 한도 도달 시 들어오는 데이터를 거부해 OOM·OOMKill을 방지.
5) 0.110 특화 — receiver별 issue 점검
Receiver0.110 이슈otlpHTTP 모드 keep-alive connection이 누수되는 케이스 (#37412)prometheusscrape target dynamic discovery 시 mem leak (#37456)fileloglarge log file 회전 시 file handle 누수 (#37398)해당 receiver를 사용한다면 0.111 또는 0.105로 다운그레이드 검토.
6) 단기 처방 — 주기적 재시작
"메모리 누수가 있는 동안만이라도 자동 재시작으로 견디기" 패턴.
7) 장기 처방
아키텍처 권장 — Agent + Gateway 분리
Agent는 가벼운 receiver+resource detector만, Gateway는 무거운 transform·batch+exporter. 메모리 부담 분산 효과 큼.
실무 체크리스트
OTel Collector 메모리 이슈의 90%는 cardinality 폭발 + memory_limiter 부재입니다. 위 두 가지부터 점검하세요.