研究人员开发了一种名为 D-PAL(动态逐位接受损失)的新方法,以改进语言模型的推测性解码。该技术改进了小型草稿模型提出代币供大型目标模型验证的过程,旨在提高生成速度而不改变最终输出分布。D-PAL 利用草稿分布和目标分布之间的重叠来计算接受度权重,这比先前将目标视为点质量的旧方法更准确。在六个基准测试中使用 Qwen3-4B 目标模型进行的实验表明,与现有的 D-PACE 方法相比,D-PAL 持续提高了平均接受长度和吞吐量。 AI
影响 通过增强推测性解码技术来提高语言模型生成的效率。
排序理由 详细介绍推测性解码新方法的学术论文。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →