Thunder-Tok

新的分词器和操作指南旨在降低LLM的Token成本

研究人员开发了Thunder-Tok，一种新的子词分词器，旨在在不牺牲大型语言模型性能的情况下减少Token数量。与标准的BPE分词器相比，该方法在英语中实现了约25%的词条数缩减，在韩语中实现了9%。同时，一份针对Claude等模型优化Token使用的操作指南正在分享，重点在于压缩输入并将任务智能地路由到更便宜的模型以提高效率。这些策略旨在降低推理成本并提高LLM应用的成本效益。