研究人员推出了一种名为 Ripple-Pivot Search (RPS) 的新型扩散大型语言模型 (dLLM) 解码方法，该方法显著加快了推理速度。RPS 利用一种“涟漪效应”，即早期确定中间熵位置可以降低后续位置的不确定性，从而实现更快的并行解码。该方法在推理和代码生成任务上比标准解码器快 4-10 倍，与 KV 缓存结合使用时，有潜力将速度提高高达 18 倍，同时保持生成质量。 AI
影响 加速扩散 LLM 的推理，可能实现这些模型更快、更高效的部署。
排序理由 该集群描述了一篇详细介绍扩散大型语言模型新型解码方法的新研究论文。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2608.11742v1 Announce Type: new Abstract: Diffusion Large Language Models (dLLMs) have emerged as a competitive alternative to autoregressive language models, offering the potential for substantially faster inference through parallel decoding. Existing parallel decoding sch…
Diffusion Large Language Models (dLLMs) have emerged as a competitive alternative to autoregressive language models, offering the potential for substantially faster inference through parallel decoding. Existing parallel decoding schedulers typically commit positions only after th…