기술노트 — AI·풀스택·인프라 실전 개발 지식 | 영삼넷

본문 바로가기

지식 증류(Distillation) — 큰 모델의 지능을 작은 모델에 옮기기

큰 교사 모델의 확률 분포를 작은 학생이 따라 배우는 지식 증류. 부드러운 라벨이 왜 강한지, 온도의 역할과 데이터 증류의 라이선스 주의점까지 짚었다.

#지식증류#Distillation#교사학생