기술노트 — AI·풀스택·인프라 실전 개발 지식 | 영삼넷

본문 바로가기

토크나이저와 BPE — LLM이 글자가 아니라 토큰을 보는 이유

LLM이 글자 대신 토큰을 보는 이유와 BPE의 병합 원리. 한국어가 토큰을 더 먹는 까닭, 숫자 계산 실수, 프롬프트 공백까지 토큰화가 부르는 실전 함정을 짚었다.

#토크나이저#BPE#서브워드