Distillation이란?
대형 모델의 출력 분포를 작은 모델이 모방하도록 학습시키는 기법이다. 정답 레이블보다 풍부한 정보(확률 분포)를 전달한다.
왜 쓰나
- 배포용 모델 크기·비용 절감
- 엣지·모바일용 경량 모델
- 교사 모델을 직접 공개 못할 때 student만 공개
실제 예
Gemma(Gemini 증류), DistilBERT, Llama 3 Small 등. Haiku 계열도 Opus 증류로 비용·속도 확보.
Distillation란?Knowledge Distillation
정의
큰 모델(teacher)의 출력을 작은 모델(student)이 따라 하도록 학습시켜 성능을 최대한 유지하며 크기를 줄이는 기법.
다른 표현지식 증류Distillation
🔗 함께 보면 좋은 용어
AI 전체 →Accuracy
전체 예측 중 맞춘 비율. 클래스 불균형 시 오해를 유발할 수 있음.
Activation Function
신경망 뉴런의 비선형 변환. ReLU·GELU·Sigmoid·Tanh.
Adam
적응형 학습률 + 모멘텀을 결합한 최적화 알고리즘. 딥러닝 실무의 표준 선택.
AGI
Artificial General Intelligence
인간 수준의 범용 지능을 가진 AI. 특정 태스크가 아닌 모든 인지 작업을 수행 가능한 가상적 목표.
AI Agent
AI 에이전트
LLM이 도구 호출·작업 분해·상태 유지를 통해 자율적으로 목표를 수행하는 시스템. 2026년 핫 키워드.
AI Alignment
AI 시스템이 인간 의도·가치에 부합하게 동작하도록 만드는 연구 분야.