一项关于 Diffusion LLMs（特别是 GSAI-ML/LLaDA-8B-Instruct）的研究表明，虽然它们可以并行生成文本，但朴素的实现面临重大挑战。当试图一步取消所有 token 的掩码时，模型会表现出很高的词语冲突和重复问题。此外，与 Qwen/Qwen2.5-7B-Instruct 等自回归模型进行直接比较表明，未缓存的扩散模型速度明显较慢，在 1,024 个 token 的提示下，每秒只能生成 9.77 个 token，而自回归模型为 26.87 个 token/秒。 AI
影响 强调了扩散模型并行文本生成的潜在瓶颈，表明朴素的实现可能无法实现相对于自回归方法的预期加速。
排序理由 该条目详细介绍了对 diffusion LLMs 性能和局限性的研究，包括具体的基准测试和技术挑战。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
