ZeRO란?
Microsoft DeepSpeed의 기술. 옵티마이저 상태·그래디언트·파라미터를 GPU 간 파티션해 메모리 공유.
단계
- ZeRO-1 — 옵티마이저 상태
- ZeRO-2 — + 그래디언트
- ZeRO-3 — + 파라미터 (FSDP 동일 아이디어)
ZeRO란?Zero Redundancy Optimizer
정의
DeepSpeed의 메모리 최적화. 옵티마이저 상태·그래디언트·파라미터를 GPU에 분산.
📘 관련 기술노트
전체 보기 →🔗 함께 보면 좋은 용어
AI 전체 →A2A
Agent-to-Agent Protocol
에이전트 간 통신 표준. Google이 제안. MCP와 상호 보완.
Accuracy
전체 예측 중 맞춘 비율. 클래스 불균형 시 오해를 유발할 수 있음.
Activation Function
신경망 뉴런의 비선형 변환. ReLU·GELU·Sigmoid·Tanh.
Adam
적응형 학습률 + 모멘텀을 결합한 최적화 알고리즘. 딥러닝 실무의 표준 선택.
Agentic RAG
LLM이 검색 여부·범위·재검색을 스스로 판단하는 RAG. 도구 사용과 결합.
AGI
Artificial General Intelligence
인간 수준의 범용 지능을 가진 AI. 특정 태스크가 아닌 모든 인지 작업을 수행 가능한 가상적 목표.