NVIDIA Project DIGITS — Ollama로 Llama 5 70B 추론하는데 응답이 7 tok/s밖에 안 됩니다

네, Ollama가 ARM/Grace 환경 최적화 미흡합니다. DIGITS에서 Ollama 대신 NVIDIA NIM 또는 vLLM 사용 권장.

1. vLLM 추천 — 사실상 표준

# vLLM 설치 (ARM 빌드)
pip install vllm

# 실행
python -m vllm.entrypoints.openai.api_server \
  --model meta-llama/Llama-5-70B-Instruct-Q4 \
  --quantization awq \
  --tensor-parallel-size 1 \
  --max-model-len 8192

실측 — 26 tok/s 달성 (광고 수치 일치). 8B 모델은 80 tok/s+.

2. NVIDIA NIM container

docker run --gpus all \
  --shm-size=16g \
  nvcr.io/nim/meta/llama-5-70b:latest

NIM이 DIGITS GB10 최적화. vLLM + NVIDIA 자체 튜닝. 추론 28~30 tok/s.

3. Ollama 그대로 쓰려면

# Ollama config
OLLAMA_FLASH_ATTENTION=1
OLLAMA_NUM_PARALLEL=4
# 또는 ggml backend 명시
OLLAMA_LLM_LIBRARY=cuda_v12

그래도 18 tok/s 정도. vLLM 대비 30% 느림.

4. 양자화 형식

• Q4_K_M (Ollama 기본) — GGML 형식, generic 호환


• AWQ — vLLM에 최적, 약간 더 빠름


• GPTQ — 가장 빠름 + 메모리 효율

vLLM + AWQ 조합이 DIGITS에서 최고.

저희 운영

DIGITS 8대 클러스터 — 모두 vLLM + AWQ로 통일. Ollama는 빠른 실험 용도만. production 추론은 무조건 vLLM.

llama.cpp의 metal-vs-cuda-vs-ggml backend 선택이 ARM에서 까다롭습니다. DIGITS면 Tensor Core 최적화된 vLLM이 답.