LoRA란?
대형 모델 파라미터 전체를 학습하지 않고 소수의 저차원 행렬(Rank)만 추가로 학습해 원본 가중치에 더하는 기법이다.
장점
- 학습 파라미터 수 0.1~1% 수준
- GPU 메모리 요구량 급감
- 어댑터 파일이 수십 MB — 여러 태스크별로 교체 가능
LoRA란?Low-Rank Adaptation
정의
대형 모델 전체가 아닌 작은 어댑터 행렬만 학습해 메모리·시간을 크게 절감하는 파인튜닝 기법.
다른 표현로라LoRA 파인튜닝
📘 관련 기술노트
전체 보기 →🔗 함께 보면 좋은 용어
AI 전체 →멀티 에이전트 오케스트레이션
Supervisor·Hierarchy·Network 패턴으로 여러 에이전트 조율.
청킹 전략 상세
고정·문장·계층·의미론적·Agentic 청킹. RAG 품질의 결정.
추론 지연 최적화
TTFT·TPS·Batching·KV Cache·Speculative·Quantization 조합.
A2A
Agent-to-Agent Protocol
에이전트 간 통신 표준. Google이 제안. MCP와 상호 보완.
Accuracy
전체 예측 중 맞춘 비율. 클래스 불균형 시 오해를 유발할 수 있음.
Activation Function
신경망 뉴런의 비선형 변환. ReLU·GELU·Sigmoid·Tanh.