AI — 427개 용어

TTFT·TPS·Batching·KV Cache·Speculative·Quantization 조합.

전체 예측 중 맞춘 비율. 클래스 불균형 시 오해를 유발할 수 있음.

에이전트 간 통신 표준. Google이 제안. MCP와 상호 보완.

Supervisor·Hierarchy·Network 패턴으로 여러 에이전트 조율.

신경망 뉴런의 비선형 변환. ReLU·GELU·Sigmoid·Tanh.

누적 확률 p 이하의 토큰 후보만 남기고 그 중에서 샘플링하는 방식. 품질과 다양성 균형에 유리.

LLM 프롬프트·로그에서 개인정보 자동 마스킹.

고정·문장·계층·의미론적·Agentic 청킹. RAG 품질의 결정.

적응형 학습률 + 모멘텀을 결합한 최적화 알고리즘. 딥러닝 실무의 표준 선택.

LLM이 텍스트를 처리하는 최소 단위. 한글은 대략 1글자 ≈ 1~2 토큰, 영어는 1단어 ≈ 1.3 토큰.

LLM이 검색 여부·범위·재검색을 스스로 판단하는 RAG. 도구 사용과 결합.

AI 에이전트와 외부 도구·데이터를 연결하는 표준 프로토콜. Anthropic이 제안, 업계 확산 중.

텍스트·이미지 같은 비정형 데이터를 고차원 벡터(숫자 배열)로 변환한 표현. 의미가 비슷하면 벡터도 가깝다.

2017년 Google이 발표한 "Attention is All You Need" 논문의 신경망 아키텍처. 현대 LLM의 기반.

LLM에 외부 지식을 주입해 답변 품질을 높이는 표준 패턴. 질문 → 벡터 검색 → 관련 문서 → 프롬프트에 포함 → LLM 생성.

대규모 텍스트로 학습된 대형 언어 모델. GPT, Claude, Gemini 등이 대표적.

여러 LLM 제공자를 통일된 API·거버넌스로 관리. Portkey·LiteLLM·OpenRouter.

LLM이 도구 호출·작업 분해·상태 유지를 통해 자율적으로 목표를 수행하는 시스템. 2026년 핫 키워드.

LPU(Language Processing Unit) ASIC으로 초고속 LLM 추론. 토큰/초 1000+.

filesystem·git·slack·github·notion·postgres MCP 서버.

인간 수준의 범용 지능을 가진 AI. 특정 태스크가 아닌 모든 인지 작업을 수행 가능한 가상적 목표.

랜덤 시드 고정으로 재현 가능한 응답. 테스트·디버그.

시퀀스 데이터에 재귀적으로 상태를 전달하는 신경망. Transformer에 밀린 역사적 모델.

직관적 즉답(System 1)과 달리 오래 숙고하는 추론. Reasoning 모델의 설계 철학.

NVIDIA의 GPU 추론 가속 라이브러리. 모델 최적화·양자화로 수 배 빠른 서빙.

학습된 모델이 새 입력에 대해 출력을 생성하는 과정. 학습(training)과 구분되는 운영 단계.

벡터 임베딩을 저장하고 코사인 유사도 등으로 빠르게 최근접 검색하는 DB. Pinecone·Weaviate·Qdrant·pgvector·Redis 8 등.

AI에게 자연어로 지시해 대부분의 코드를 만드는 방식. Andrej Karpathy가 명명.

OpenAI가 개발한 대규모 자기회귀 LLM 시리즈. GPT-3, 3.5, 4, 5.4로 이어지며 LLM 시대를 열었다.

모델 가중치의 정밀도를 낮춰(예: 16bit → 4bit) 메모리·속도를 개선하는 기법. 로컬 LLM 구동의 핵심.

Google이 개발한 AI 전용 ASIC. Gemini·Google Cloud의 핵심 인프라.

음성을 텍스트로 변환하는 기술. Whisper·Google Speech·Azure 등.

시퀀스 내 토큰들이 서로를 참조하며 중요도(가중치)를 학습하는 메커니즘. Transformer의 핵심.

특정 플랫폼·서비스 개발에 필요한 도구·라이브러리 묶음. AI SDK는 LLM API 호출을 쉽게 하는 프레임워크.

LLM이 한 번에 처리할 수 있는 최대 토큰 수. Claude Opus 4.7은 200K~1M, Gemini는 최대 2M.

OpenAI의 오픈소스 음성 인식 모델. 99개 언어 지원, 정확도 높음.

GPT·Llama 같은 생성 LLM의 기반 아키텍처. 인코더 없이 디코더만 사용.

이미지 내 객체의 위치(bbox)와 클래스를 동시에 예측하는 CV 작업.

UC Berkeley의 고성능 LLM 추론 엔진. PagedAttention으로 메모리·처리량 극대화.

LLM이 사실이 아닌 내용을 그럴듯하게 생성하는 현상. RAG·툴 사용·체크 루프로 완화 가능.

수십만~수백만 토큰을 한 번에 처리하는 LLM 능력. 2024년 이후 경쟁 포인트.

문법·스키마·정규식에 맞는 출력을 강제 생성. logit biasing.

LLM 추론 속도 지표. 초당 생성하는 토큰 수. 사용자 체감 중요 요소.

사전 학습된 모델을 자체 데이터로 추가 학습해 특정 도메인·스타일에 맞추는 기법.

Transformer의 Key·Value를 캐시해 재계산 회피. LLM 추론의 메모리 주범.

그래픽·딥러닝 연산을 병렬 처리하는 프로세서. NVIDIA CUDA가 AI 표준.

LLM에게 원하는 출력을 끌어내기 위한 지시문 설계 기술. Few-shot·CoT·role prompting 등 패턴이 존재한다.

긴 문서를 짧게 요약하는 NLP 작업. 추출(extractive)과 생성(abstractive) 방식.

2026 LLM 스택: 모델 API·로컬 런타임·프레임워크·벡터DB·에이전트 플랫폼.

텍스트·이미지·음성·영상 등 여러 종류의 입력을 함께 처리하는 모델. GPT-4o, Claude Opus, Gemini가 대표적.