研究人员推出了一种新颖的无训练框架 DC-Leap，旨在加速扩散大型语言模型 (dLLM) 的推理速度。该方法解决了并行解码中保守的置信度阈值问题，该问题通常会导致冗余迭代和性能下降。DC-Leap 采用动态连续验证策略来管理联合概率依赖误差，并集成了一个由草稿引导的解码机制来实现前瞻性上下文。实验表明，在长序列生成的 MBPP 基准测试中，速度显著提升，最高可达 53.19 倍，并且与 KV-Cache 结合使用时，性能提升更大，同时保持了相当的生成质量。 AI
影响 这种新的解码方法可以显著降低大型语言模型的推理成本和延迟。
排序理由 该集群包含一篇详细介绍 dLLM 加速新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- DC-Leap
- dLLMs
- Dynamic Contiguous Verification
- Joint Probability Dependence Error
- KV cache
- MBPP
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
