MINE-USTC

新的推测性解码方法提高了 LLM 推理速度

研究人员开发了使用推测性解码加速语言模型推理的新方法。一种方法 SpecVocab 专注于优化较小草稿模型用于预测目标模型输出的词汇表，与 EAGLE-3 等现有方法相比，可实现更高的接受长度，吞吐量提高高达 8.1%。另一种方法渐进式树草稿 (PTD) 在目标模型本身内利用结构化的并行草稿策略，采用树结构和剪枝机制来探索多个语义路径。PTD 在各种基准测试中展示了高达 2 倍的解码加速，而无需额外的训练或模型修改。