AI Red Teaming이란?
군사·보안 용어에서 온 개념. "공격자 입장"에서 AI의 약점을 찾는다.
대상
- Jailbreak 기법
- Prompt injection
- 편향·혐오 발언 유도
- 개인정보 유출
- 위험 정보 생성
OpenAI·Anthropic·Google 모두 모델 출시 전 필수로 수행.
Red Teaming (AI)란?
정의
AI 시스템의 취약점·잘못된 동작을 의도적으로 탐색하는 적대적 테스트.
🔗 함께 보면 좋은 용어
AI 전체 →멀티 에이전트 오케스트레이션
Supervisor·Hierarchy·Network 패턴으로 여러 에이전트 조율.
청킹 전략 상세
고정·문장·계층·의미론적·Agentic 청킹. RAG 품질의 결정.
추론 지연 최적화
TTFT·TPS·Batching·KV Cache·Speculative·Quantization 조합.
A2A
Agent-to-Agent Protocol
에이전트 간 통신 표준. Google이 제안. MCP와 상호 보완.
Accuracy
전체 예측 중 맞춘 비율. 클래스 불균형 시 오해를 유발할 수 있음.
Activation Function
신경망 뉴런의 비선형 변환. ReLU·GELU·Sigmoid·Tanh.