dLLMs
PulseAugur coverage of dLLMs — every cluster mentioning dLLMs across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
FINDERS框架使用扩散模型进行自适应用户表示
研究人员推出了一种新颖的FINDERS框架，该框架利用扩散语言模型（dLLMs）来创建更具自适应性的用户表示。与将用户行为压缩为静态格式的现有方法不同，FINDERS利用dLLMs的迭代去噪过程来捕获多粒度信息。该框架包含一个路由器，该路由器根据特定的场景查询动态地强调相关的行为因素，从而实现更有效的跨源融合和压缩。在包括新的BehaviorQA语料库构建在内的十个工业场景中的实验表明，FINDERS在统一和场景自适应设置中均优于当前…
-
新的 LEAP 方法将扩散语言模型并行性提升 30%
研究人员开发了 LEAP，一种增强扩散语言模型 (dLLM) 并行性的新方法。LEAP 通过识别去噪过程中早期收敛的标记，解决了当前 dLLM 对并行处理需要高置信度级别的限制。这种无需训练、即插即用的技术利用未来上下文过滤和多序列叠加来检测这些早期收敛的标记，从而在不牺牲准确性的情况下实现更快的解码。基准测试表明，LEAP 可以将 GSM8K 等数据集上的去噪步骤减少约 30%，并将解码速度提高到每步 7.2 个标记，这通过将 LE…
-
Diff Diffusion 框架提供更快、更高效的 AI 代码编辑
研究人员开发了 Diff Diffusion，一个用于 AI 辅助代码编辑的新框架，该框架利用扩散模型来预测编辑路径。与针对序列合成优化的模型不同，Diff Diffusion 专注于稀疏的代码更改，提高了集成开发环境 (IDE) 的效率和延迟。该框架在生产环境中实现了与自回归模型相当或更优的性能，同时提供了明显更快的推理速度和更低的延迟。
-
新的去噪工作负载表面改进了 dLLM 推理成本预测
研究人员引入了去噪工作负载表面（DWS），以更准确地对服务期间扩散大语言模型（dLLM）的推理成本进行建模和预测。传统的成本代理对于 dLLM 来说是不够的，因为它们无法捕捉其生成过程的二维结构，该过程涉及具有异构成本的输出块和去噪步骤。DWS 将此结构保留为概率表面，从而能够使用轻量级的、仅提示的预测器来有效估算成本。这种方法在实际服务实验中显示出显著的改进，将成本预测误差降低了高达 2.50 倍，并将端到端延迟降低了高达 1.92 倍。
-
新方法加速扩散语言模型推理 · 跟踪4个来源
研究人员正在开发新方法来加速扩散语言模型（DLM）的推理，由于其迭代去噪过程，DLM计算量很大。一种方法是Window-Diffusion，它使用滑动窗口来修剪和缓存令牌，从而实现显著的加速。另一种方法是CONDOR，它采用耦合噪声蒸馏进行一步块生成，从头开始训练模型以生成连贯的块。时间自蒸馏（TSD）跨时间蒸馏预测，以实现更积极的并行解码，同时将性能损失降至最低。这些进展旨在使DLM在各种应用中更有效。
-
新方法通过推测性解码加速大语言模型推理速度
两篇新的研究论文介绍了加速大语言模型推理速度的新方法。第一篇论文“ReTrace”提出了一种技术，将每个草稿块条件化到上一轮被拒绝的后缀上，从而提高了 Qwen3 等模型的平均接受长度和解码速度。第二篇论文“Trajectory-Level Speculative Decoding”为基于扩散的语言模型（dLLMs）提出了一个框架，该框架对去噪轨迹进行推测，与 vanilla dLLMs 和 Fast-dLLM++ 等现有框架相比，实…
-
新的 CForce 方法提升了扩散 LLM 的并行解码能力
研究人员推出了一种名为一致性强制 (CForce) 的新蒸馏方法，旨在提高扩散大型语言模型 (dLLM) 的并行解码能力。该技术通过确保早期去噪阶段的预测与后期阶段的预测保持一致，解决了 dLLM 中早期预测不可靠的问题。CForce 在训练中使用自展开轨迹，并采用置信度自适应 KL 散度目标，增强了训练和推理之间的一致性。使用 LLaDA 模型进行的实验表明，CForce 提供了改进的速度-质量权衡，尤其是在使用高并行度解码预算时。
-
Ripple-Pivot Search 将 Diffusion LLM 推理速度提高了 18 倍
研究人员推出了一种名为 Ripple-Pivot Search (RPS) 的新型扩散大型语言模型 (dLLM) 解码方法，该方法显著加快了推理速度。RPS 利用一种“涟漪效应”，即早期确定中间熵位置可以降低后续位置的不确定性，从而实现更快的并行解码。该方法在推理和代码生成任务上比标准解码器快 4-10 倍，与 KV 缓存结合使用时，有潜力将速度提高高达 18 倍，同时保持生成质量。
-
DC-Leap 框架通过无训练解码加速 dLLM
研究人员推出了一种新颖的无训练框架 DC-Leap，旨在加速扩散大型语言模型 (dLLM) 的推理速度。该方法解决了并行解码中保守的置信度阈值问题，该问题通常会导致冗余迭代和性能下降。DC-Leap 采用动态连续验证策略来管理联合概率依赖误差，并集成了一个由草稿引导的解码机制来实现前瞻性上下文。实验表明，在长序列生成的 MBPP 基准测试中，速度显著提升，最高可达 53.19 倍，并且与 KV-Cache 结合使用时，性能提升更大，同…
-
新研究加速扩散语言模型训练并增强生成能力
研究人员正在探索掩码扩散语言模型（MDMs）的进步，以提高其训练效率和生成能力。一项研究提出了一种“钟形时间采样”策略，可将MDM训练速度提高多达四倍，同时在One Billion Word Benchmark等基准测试中保持性能。另一篇论文介绍了多掩码扩散模型（MultiMDMs），通过保留掩码结构来增强少步生成，从而在精炼为干净标记之前更好地预测指定掩码。此外，一个名为基于轨迹的策略内蒸馏（TOPD）的新框架允许扩散语言模型在没有…
-
新的大语言模型（LLM）框架和基准推动形式数学推理发展
研究人员正在开发新的方法和基准来提高大语言模型（LLM）的形式数学推理能力。一种名为 Diffusion-Proof 的方法利用扩散大语言模型（dLLMs）进行定理证明，在 ProofNet-Test 和 MiniF2F-Test 等基准测试中表现优于自回归模型，甚至解决了领先模型无法解决的国际数学奥林匹克问题。另一项开发 Visored 提供了一个旨在通过模仿自然语言和自动化常规步骤来处理大语言模型生成数学的证明器。此外，Mask-…