VocabX

VocabX 通过专业分词器将 SLM 推理成本降低 77%

研究人员开发了一种名为 VocabX 的方法来专门化小型语言模型（SLM）的词汇，有可能降低推理成本。通过将分词器专注于特定领域的术语而非通用语言，他们在基于 Qwen3-4B 构建的葡萄牙语作文评分器中实现了 77% 的推理成本降低。这种专门化解决了代币碎片化和词汇过多的问题，这些问题是成本的主要驱动因素，尤其对于处理特定任务的小型模型而言。