dLLMs
PulseAugur coverage of dLLMs — every cluster mentioning dLLMs across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新方法通过推测性解码加速大语言模型推理速度
两篇新的研究论文介绍了加速大语言模型推理速度的新方法。第一篇论文“ReTrace”提出了一种技术，将每个草稿块条件化到上一轮被拒绝的后缀上，从而提高了 Qwen3 等模型的平均接受长度和解码速度。第二篇论文“Trajectory-Level Speculative Decoding”为基于扩散的语言模型（dLLMs）提出了一个框架，该框架对去噪轨迹进行推测，与 vanilla dLLMs 和 Fast-dLLM++ 等现有框架相比，实…
-
新的 CForce 方法提升了扩散 LLM 的并行解码能力
研究人员推出了一种名为一致性强制 (CForce) 的新蒸馏方法，旨在提高扩散大型语言模型 (dLLM) 的并行解码能力。该技术通过确保早期去噪阶段的预测与后期阶段的预测保持一致，解决了 dLLM 中早期预测不可靠的问题。CForce 在训练中使用自展开轨迹，并采用置信度自适应 KL 散度目标，增强了训练和推理之间的一致性。使用 LLaDA 模型进行的实验表明，CForce 提供了改进的速度-质量权衡，尤其是在使用高并行度解码预算时。
-
Ripple-Pivot Search 将 Diffusion LLM 推理速度提高了 18 倍
研究人员推出了一种名为 Ripple-Pivot Search (RPS) 的新型扩散大型语言模型 (dLLM) 解码方法，该方法显著加快了推理速度。RPS 利用一种“涟漪效应”，即早期确定中间熵位置可以降低后续位置的不确定性，从而实现更快的并行解码。该方法在推理和代码生成任务上比标准解码器快 4-10 倍，与 KV 缓存结合使用时，有潜力将速度提高高达 18 倍，同时保持生成质量。
-
DC-Leap 框架通过无训练解码加速 dLLM
研究人员推出了一种新颖的无训练框架 DC-Leap，旨在加速扩散大型语言模型 (dLLM) 的推理速度。该方法解决了并行解码中保守的置信度阈值问题，该问题通常会导致冗余迭代和性能下降。DC-Leap 采用动态连续验证策略来管理联合概率依赖误差，并集成了一个由草稿引导的解码机制来实现前瞻性上下文。实验表明，在长序列生成的 MBPP 基准测试中，速度显著提升，最高可达 53.19 倍，并且与 KV-Cache 结合使用时，性能提升更大，同…
-
新研究加速扩散语言模型训练并增强生成能力
研究人员正在探索掩码扩散语言模型（MDMs）的进步，以提高其训练效率和生成能力。一项研究提出了一种“钟形时间采样”策略，可将MDM训练速度提高多达四倍，同时在One Billion Word Benchmark等基准测试中保持性能。另一篇论文介绍了多掩码扩散模型（MultiMDMs），通过保留掩码结构来增强少步生成，从而在精炼为干净标记之前更好地预测指定掩码。此外，一个名为基于轨迹的策略内蒸馏（TOPD）的新框架允许扩散语言模型在没有…
-
新的大语言模型框架和基准推动形式数学推理发展
研究人员正在开发新的方法和基准来提高大语言模型（LLMs）的形式数学推理能力。一种名为Diffusion-Proof的方法利用扩散大语言模型（dLLMs）进行定理证明，在ProofNet-Test和MiniF2F-Test等基准测试中表现优于自回归模型，甚至解决了领先模型无法解决的国际数学奥林匹克问题。另一项开发Visored提供了一个旨在通过模仿自然语言和自动化常规步骤来处理大语言模型生成数学的证明器。此外，Mask-Proof引入…