한줄평
“로컬 LLM 을 자주 돌리며 자원과 성능을 모니터링하려는 사람에게 잘 맞는 도구입니다. 로컬 추론 서버를 쓰지 않는다면 필요가 없습니다.”
이런 분께 Ollama·vLLM 등 로컬 LLM 자원을 모니터링하려는 분께
좋은 점
- 여러 로컬 AI 서버를 한 화면에서 감시
- 모델 비교·요청 검사 등 실용 기능
아쉬운 점
- 로컬 AI 추론 서버가 있어야 의미 있음
- TUI 라 그래픽 대시보드를 원하면 아쉬움
엠탑 소개
내 컴퓨터에서 돌아가는 로컬 AI 추론 서버를 실시간으로 감시하는 TUI 도구로, 'htop 의 AI 버전'을 표방합니다. Ollama, llama.cpp, LM Studio, vLLM 을 지원하며 불러온 모델, VRAM 사용량, GPU 지표, 초당 토큰 처리량을 한눈에 보여 줍니다. 요청을 지연 없이 중계하는 프록시로 요청별 지표를 잡고, 모델 비교·유휴 모델 강제 해제, Prometheus 연동까지 됩니다. NVIDIA·AMD·애플 실리콘을 아우르며 윈도우에서도 동작합니다.
