운영 중인 Pod가 하루에 몇 번씩 OOMKilled로 재시작됩니다. 그런데 Grafana로 보면 컨테이너 메모리 사용량이 limit의 60% 정도밖에 안 됩니다.
State: Terminated
Reason: OOMKilled
Exit Code: 137
resources:
requests: { memory: "512Mi" }
limits: { memory: "2Gi" }
working set이 1.2Gi 정도라 2Gi 안에 충분한데 왜 OOM이 날까요? 노드 전체 메모리도 70% 수준입니다.
환경: Kubernetes 1.32, containerd, cgroup v2, JVM 앱(Spring Boot)
댓글 2
모니터링의 "working set"과 커널이 OOM 판단에 쓰는 값이 다릅니다. cgroup v2에서 OOM은
memory.current(= 익명 메모리 + 일부 페이지 캐시 + 커널 메모리) 기준인데, 대시보드는 보통 working set만 보여줘서 "여유 있어 보이는데 죽는" 착시가 생깁니다.확인 순서
JVM이면 거의 이 케이스 — 힙(-Xmx) 외에 메타스페이스·스레드 스택·다이렉트 버퍼·코드캐시가 컨테이너 메모리에 다 잡힙니다. 힙만 보고 limit를 잡으면 비힙이 한도를 넘겨 컨테이너 전체가 OOMKilled 됩니다.
요약: ① limit 대비 힙을 70%로 묶고 ② 메타스페이스·다이렉트 버퍼 상한을 명시하세요. working set이 아니라
memory.current추세로 알람을 거는 것도 권장합니다.