PCTree

新的PCTree方法提高了LLM推测解码的效率

研究人员开发了一种名为父代条件草稿树（PCTree）的新方法，以提高大型语言模型（LLM）中推测解码的效率。该技术基于DSpark模型，将其线性草稿过程转化为树状结构，无需重新训练即可实现多个父代一致的续写。PCTree利用现有的马尔可夫头来评估替代路径，优化了固定验证预算的使用。在Qwen3模型上进行的各种基准测试实验表明，与标准的自回归解码相比，速度提升了3.1%至29.5%。