기술노트 — AI·풀스택·인프라 실전 개발 지식 | 영삼넷

본문 바로가기

vLLM 1.1 LoRA 핫스왑 — 멀티 테넌트 LLM 서빙, 비용 50%↓

vLLM 1.1의 LoRA 핫스왑 기능으로 테넌트별 미세조정 모델을 한 GPU에 동거시켜 인프라 비용을 절반으로 줄인 운영기.

#vLLM#LoRA#MultiTenant