一篇新研究论文探讨了如何改进推测解码,这是一种用于加速文本生成的技术,在语言模型中得到应用。这项发表在arXiv上的研究调查了目标模型生成的概率分布是否可以被重用,以更有效地选择下一组草稿标记。研究人员发现,通过在当前上下文中用单独计算的分布对第一标记分支进行重新排序,可以提高接受率,尤其是在树预算有限的情况下。这种在树分配之前就可用目标概率的方法,可以带来更快的解码速度。 AI
影响 提高了语言模型文本生成的效率,可能导致更快的推理时间。
排序理由 发表在arXiv上的研究论文,详细介绍了一种改进推测解码的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →