新的 CForce 方法提升了扩散 LLM 的并行解码能力

研究人员推出了一种名为一致性强制 (CForce) 的新蒸馏方法，旨在提高扩散大型语言模型 (dLLM) 的并行解码能力。该技术通过确保早期去噪阶段的预测与后期阶段的预测保持一致，解决了 dLLM 中早期预测不可靠的问题。CForce 在训练中使用自展开轨迹，并采用置信度自适应 KL 散度目标，增强了训练和推理之间的一致性。使用 LLaDA 模型进行的实验表明，CForce 提供了改进的速度-质量权衡，尤其是在使用高并行度解码预算时。 AI

影响 这种新方法有望提高基于扩散的 LLM 的语言生成速度和效率。

排序理由 该条目是一篇研究论文，详细介绍了一种改进 LLM 解码的新方法。 [lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• DagsHub
• dLLMs
• Gotit.pub
• Hugging Face
• IArxiv
• ScienceCast

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →