Distillation이란?
대형 모델의 출력 분포를 작은 모델이 모방하도록 학습시키는 기법이다. 정답 레이블보다 풍부한 정보(확률 분포)를 전달한다.
왜 쓰나
- 배포용 모델 크기·비용 절감
- 엣지·모바일용 경량 모델
- 교사 모델을 직접 공개 못할 때 student만 공개
실제 예
Gemma(Gemini 증류), DistilBERT, Llama 3 Small 등. Haiku 계열도 Opus 증류로 비용·속도 확보.
Distillation란?Knowledge Distillation
정의
큰 모델(teacher)의 출력을 작은 모델(student)이 따라 하도록 학습시켜 성능을 최대한 유지하며 크기를 줄이는 기법.
다른 표현지식 증류Distillation
🔗 함께 보면 좋은 용어
AI 전체 →멀티 에이전트 오케스트레이션
Supervisor·Hierarchy·Network 패턴으로 여러 에이전트 조율.
청킹 전략 상세
고정·문장·계층·의미론적·Agentic 청킹. RAG 품질의 결정.
추론 지연 최적화
TTFT·TPS·Batching·KV Cache·Speculative·Quantization 조합.
A2A
Agent-to-Agent Protocol
에이전트 간 통신 표준. Google이 제안. MCP와 상호 보완.
Accuracy
전체 예측 중 맞춘 비율. 클래스 불균형 시 오해를 유발할 수 있음.
Activation Function
신경망 뉴런의 비선형 변환. ReLU·GELU·Sigmoid·Tanh.