Chunking이란?
PDF·웹페이지를 500~1000 토큰 단위로 쪼개 벡터 인덱싱하는 작업이다.
전략
- 고정 크기 + 오버랩 10~20%
- 문장·문단 경계
- 계층적 (섹션 요약 + 하위)
- 코드·표는 구조 단위 존중
품질 결정
RAG 성능의 50%가 청킹에서 결정된다는 말이 있을 정도로 중요.
Chunking란?
정의
RAG 파이프라인의 첫 단계. 긴 문서를 임베딩·검색에 적합한 단위로 분할.
다른 표현청킹
📘 관련 기술노트
전체 보기 →🔗 함께 보면 좋은 용어
AI 전체 →멀티 에이전트 오케스트레이션
Supervisor·Hierarchy·Network 패턴으로 여러 에이전트 조율.
청킹 전략 상세
고정·문장·계층·의미론적·Agentic 청킹. RAG 품질의 결정.
추론 지연 최적화
TTFT·TPS·Batching·KV Cache·Speculative·Quantization 조합.
A2A
Agent-to-Agent Protocol
에이전트 간 통신 표준. Google이 제안. MCP와 상호 보완.
Accuracy
전체 예측 중 맞춘 비율. 클래스 불균형 시 오해를 유발할 수 있음.
Activation Function
신경망 뉴런의 비선형 변환. ReLU·GELU·Sigmoid·Tanh.