quicktok

新的C++分词器'quicktok'比tiktoken快11倍

开发了一个名为quicktok的新C++分词器，与现有解决方案相比，它提供了显著的速度提升。它实现了与tiktoken字节相同的分词，并且速度明显更快，比bpe-openai快2-3.6倍，比tiktoken本身快4-11倍。该分词器支持cl100k、o200k、GPT-OSS、Llama-3和Qwen2.5/3等多种模型，利用数据结构工程来提高性能。