메모리 다 free 했는데 RSS가 안 줄어듭니다. Valgrind는 깨끗한데 누수처럼 계속 쌓여요

Question

C++ 롱러닝 데몬인데요, 대량 처리 피크가 지나면 객체를 다 free/delete 하는데도 프로세스 RSS가 안 내려갑니다. 피크에 3.2GB 찍으면 이후 유휴 상태에서도 계속 3.1GB 근처를 물고 있어요.누수인 줄 알고 Valgrind랑 ASan 다 돌렸는데 definitely lost 0 bytes, 완전 깨끗합니다. 실제로 heap 사용량 자체는 유휴 때 200MB 정도로 줄어든 게 로그로도 확인돼요. 그런데 top의 RES는 안 줄어듭니다. 이거 OS한테 메모리 반환이 안 되는 건데 며칠째 왜 그런지 못 찾겠습니다. malloc이 원래 이런가요?

김영삼 · Accepted Answer

누수가 아니라 glibc malloc의 단편화(fragmentation)와 메모리 반환 정책 때문입니다. Valgrind가 깨끗하고 heap 사용량은 줄었는데 RSS만 안 준다는 게 정확히 이 증상입니다. 정상 동작이라 잡히지도 않죠.핵심 원리 두 가지:free는 OS 반환이 아닙니다. free()는 청크를 malloc의 free list로 돌려줄 뿐, 대개 커널에 안 돌려줍니다. brk로 늘린 heap은 맨 위(top chunk)의 연속된 빈 공간이 M_TRIM_THRESHOLD(기본 128KB)를 넘을 때만 sbrk로 줄여 OS에 반환합니다.단편화가 반환을 막습니다. heap 꼭대기 근처에 아직 살아있는 작은 객체가 하나라도 끼어 있으면, 그 아래가 다 비어 있어도 top을 못 내립니다. 그래서 실제 사용은 200MB인데 힙은 3GB로 늘어난 채 안 줄어드는 겁니다. 오래 도는 데몬에서 크기 다양한 할당/해제가 섞이면 전형적으로 발생합니다.여기에 다중 arena도 한몫합니다. g

댓글 0