研究人员开发了一种名为推测位置顺序轨迹 (SPOT) 的新方法,可以在不牺牲质量的情况下提高扩散语言模型 (DLM) 的速度。DLM 虽然有望实现并行文本生成,但面临速度-质量的权衡。SPOT 通过学习预测代币生成的正确顺序来解决这个问题,这是先前 DLM 推测解码方法所缺失的关键要素。实验表明,SPOT 可以将目标模型传递次数减少多达 6.8 倍,并将吞吐量提高多达 3.2 倍,在各种任务和温度下均优于现有方法。学习到的预测器还展示了跨不同 DLM 的可迁移性。 AI
影响 这项研究可能会显著加快扩散语言模型的文本生成速度,从而提高效率和用户体验。
排序理由 详细介绍扩散语言模型新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- Commit-Order Prediction
- Diffusion language models
- Gumbel-noise coupling
- Hugging Face
- Speculative decoding
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →