본문 바로가기

TECH NOTES

기술노트

현장에서 검증된 개발 지식을 기록합니다.

전체 1건
1
AI4분 읽기
vLLM 1.0 vs SGLang vs TGI — LLM 추론 서버 실측 비교
vLLM 1.0·SGLang·TGI 3대 LLM 추론 서버 실측. Llama 70B 처리량·레이턴시·메모리, 양자화 지원과 운영 부담을 워크로드별로 비교.
#vLLM#SGLang#TGI
2026.05.15