quicktok는 tiktoken과 바이트 동일하며, 속도는 2-11배 빠른 BPE 토크나이저입니다.
quicktok는 C++로 작성된 빠르고 정확한 BPE 토크나이저입니다. 이 토크나이저는 tiktoken과 바이트 동일하며, bpe-openai보다 2-3.6배, tiktoken보다 4-11배 더 빠릅니다. 다양한 데이터 구조 공학적 접근 방식을 통해 메모리 접근을 줄이며, 성능 벤치마크에서도 우수한 결과를 보였습니다.
quicktok is a fast, exact BPE tokenizer that is byte-identical to tiktoken and 2-11x faster.
quicktok is a fast and exact BPE tokenizer implemented in C++. It is byte-identical to tiktoken, achieving encoding speeds 2-3.6 times faster than bpe-openai and 4-11 times faster than tiktoken. Leveraging advanced data structure engineering, quicktok shows superior performance in various benchmarks compared to its competitors.