LoRA란?
대형 모델 파라미터 전체를 학습하지 않고 소수의 저차원 행렬(Rank)만 추가로 학습해 원본 가중치에 더하는 기법이다.
장점
- 학습 파라미터 수 0.1~1% 수준
- GPU 메모리 요구량 급감
- 어댑터 파일이 수십 MB — 여러 태스크별로 교체 가능
변형
- QLoRA — 4bit 양자화 + LoRA. 소비자 GPU에서도 70B 파인튜닝 가능
- DoRA — LoRA 개선판, 2024년 공개
LoRA란?Low-Rank Adaptation
정의
대형 모델 전체가 아닌 작은 어댑터 행렬만 학습해 메모리·시간을 크게 절감하는 파인튜닝 기법.
다른 표현로라LoRA 파인튜닝
📘 관련 기술노트
전체 보기 →🔗 함께 보면 좋은 용어
AI 전체 →Accuracy
전체 예측 중 맞춘 비율. 클래스 불균형 시 오해를 유발할 수 있음.
Activation Function
신경망 뉴런의 비선형 변환. ReLU·GELU·Sigmoid·Tanh.
Adam
적응형 학습률 + 모멘텀을 결합한 최적화 알고리즘. 딥러닝 실무의 표준 선택.
AGI
Artificial General Intelligence
인간 수준의 범용 지능을 가진 AI. 특정 태스크가 아닌 모든 인지 작업을 수행 가능한 가상적 목표.
AI Agent
AI 에이전트
LLM이 도구 호출·작업 분해·상태 유지를 통해 자율적으로 목표를 수행하는 시스템. 2026년 핫 키워드.
AI Alignment
AI 시스템이 인간 의도·가치에 부합하게 동작하도록 만드는 연구 분야.