한줄평
“.NET 이나 TypeScript 로 LLM 앱을 만들며 토큰 수를 정확히 다뤄야 할 때 적합합니다. 최종 사용자가 실행하는 앱이 아니라 개발자용 라이브러리라는 점을 알아두어야 합니다.”
이런 분께 LLM 앱에서 토큰 수를 정확히 세야 하는 개발자께
좋은 점
- tiktoken 기반이라 OpenAI 토큰 계산과 잘 맞음
- C#·TypeScript 두 언어를 함께 지원
아쉬운 점
- 단독 프로그램이 아니라 코드에 통합해야 함
토크나이저 소개
마이크로소프트가 공개한 Tokenizer 는 OpenAI 계열 대규모 언어모델이 쓰는 BPE(바이트 페어 인코딩) 토크나이저를 TypeScript 와 C# 로 구현한 라이브러리입니다. OpenAI 의 오픈소스 tiktoken(러스트 구현)을 바탕으로 하며, 텍스트가 몇 토큰인지 세거나 토큰 단위로 자르는 데 씁니다. 프롬프트 길이·비용을 미리 계산하려는 개발자에게 유용합니다. 단독 실행 프로그램이 아니라 코드에 넣어 쓰는 라이브러리입니다.
