SGD란?
전체 데이터 대신 무작위 샘플(mini-batch)로 기울기를 추정한다. 빠르고 메모리 효율적.
모멘텀
과거 그래디언트를 누적해 진동을 줄이고 수렴을 빠르게. 현재 대부분의 옵티마이저 기본 포함.
SGD란?Stochastic Gradient Descent
정의
무작위 샘플로 그래디언트를 추정하는 경사 하강법. 대용량 학습의 기본.
🔗 함께 보면 좋은 용어
AI 전체 →멀티 에이전트 오케스트레이션
Supervisor·Hierarchy·Network 패턴으로 여러 에이전트 조율.
청킹 전략 상세
고정·문장·계층·의미론적·Agentic 청킹. RAG 품질의 결정.
추론 지연 최적화
TTFT·TPS·Batching·KV Cache·Speculative·Quantization 조합.
A2A
Agent-to-Agent Protocol
에이전트 간 통신 표준. Google이 제안. MCP와 상호 보완.
Accuracy
전체 예측 중 맞춘 비율. 클래스 불균형 시 오해를 유발할 수 있음.
Activation Function
신경망 뉴런의 비선형 변환. ReLU·GELU·Sigmoid·Tanh.