autoregressive decoding

新的CLP方法在不损失质量的情况下加速LLM推理

研究人员开发了一种名为搭配长度预测（CLP）的新方法来加速大型语言模型推理。CLP解决了多令牌预测（MTP）中的一个核心问题，即后续令牌的预测头会干扰主要的语言模型头，导致质量下降。通过重新设计架构，使主头始终生成第一个令牌，而一个轻量级的CLP层预测后续令牌，该方法在不牺牲输出质量的情况下实现了显著的加速。在Qwen2.5模型上的实验表明，重复率可忽略不计的情况下，速度提升高达1.29倍。