BERT란?
Google이 2018년 공개한 양방향 Transformer 인코더다. 문장 전체 맥락을 동시에 참조해 이해 중심 작업에 강하다.
GPT와 차이
- BERT — Encoder 전용, 양방향, 이해·분류·검색
- GPT — Decoder 전용, 단방향, 생성
현재 위상
생성 모델이 주류가 된 이후에도 임베딩·검색·분류 영역에서는 BERT 계열(RoBERTa, DeBERTa, sBERT)이 여전히 표준이다. BGE-M3 같은 최신 임베딩 모델도 BERT 기반.