AMD MI400 — Llama 5 70B 추론 속도가 NVIDIA H200 대비 어느 정도인가요

Question

AMD MI400 양산 시작 발표 봤습니다. 가격 $38K로 NVIDIA Rubin Ultra($45K) 대비 -15% 매력적.

저희 추론 워크로드 — Llama 5 70B 4-bit, 동시 사용자 50명. 현재 H200 4장 클러스터 운영.

MI400 도입 검토 중인데 ROCm 7.0이 vLLM·NeMo 지원한다고 하지만 실측 속도 정보가 부족합니다. 측정해본 분 계신가요?

김영삼 · Accepted Answer

아직 MI400 양산 시작 단계라 production 측정 데이터 적습니다. AMD 자체 발표 + 베타 측정 정리. 워크로드H200 80GBMI400 Llama 5 70B 4-bit single batch32 tok/s28 tok/s (-12%) Llama 5 70B batch 8 throughput180 tok/s148 tok/s (-18%) Time to first token120ms180ms (+50%) 가격$30K (시장가)$38K tok/s per $1.0x0.66x 현재로는 H200 대비 throughput·latency 우위. 가격 우위도 H200 시장가 고려하면 MI400 -33% 손해. 다만 — ROCm 최적화 추가 기대 MI400은 출하 시작이라 ROCm·vLLM 최적화 미흡. 6개월 후 격차 축소 예상. 작년 MI300X도 출시 6개월 후 H100 따라잡음. 의사결정 긴급 production — H200 또는 Blackwell B200 (검증된 성능) 실험·R&D

서버지기영호 · Answer

AMD는 CUDA 생태계 의존 없는 데가 강점. 그러나 vLLM·NeMo 외 라이브러리 호환은 NVIDIA가 압도. 한국어 fine-tune은 NVIDIA NeMo 우위.

gpu_park · Answer

저는 multi-cloud 전략으로 둘 다 운영. NVIDIA 단일 vendor 위험 회피. AMD 매년 점유율 늘 거라 미리 적응 권장.

코드리뷰러 · Answer

운영 6개월 경험인데 위에 적힌 함정 모두 거쳤습니다. 처음부터 정착 패턴 알았으면 좋았을 텐데...

댓글 0