研究人员推出了一种新颖的扩散大语言模型 (dLLM) 解码方法 STDec,可提高效率并保持生成质量。与依赖全局置信度阈值的方法不同,STDec 结合了空间和时间稳定性来指导解码过程。这包括根据相邻的解码状态和去噪步骤中预测的 token ID 的一致性来动态调整 token 自适应阈值。STDec 无需训练,并且与现有的加速技术兼容,展示了显著的加速效果,例如在 MBPP 基准测试上使用 LLaDA 实现了 14.17 倍的提升,同时保持了生成分数。 AI
影响 这种新的解码方法可能会带来更快、更高效的扩散大语言模型推理。
排序理由 该集群包含一篇详细介绍 dLLM 新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →