Masked Diffusion Language Models
PulseAugur coverage of Masked Diffusion Language Models — every cluster mentioning Masked Diffusion Language Models across labs, papers, and developer communities, ranked by signal.
- 2026-06-15 research_milestone Introduction of the TIE framework for ensembling Masked Diffusion Language Models. 来源
2 天有情绪数据
-
新的掩码感知策略梯度在基准测试中提升DLM推理能力 · 跟踪2个来源
研究人员开发了一种名为掩码感知策略梯度的新方法，以增强扩散语言模型（DLMs）的推理能力。该方法通过准确估计对数似然，解决了将强化学习应用于掩码扩散语言模型（MDLMs）的挑战。该技术将生成过程形式化为两阶段动作马尔可夫决策过程，优化了token放置和掩码决策。这种双重优化在数学推理和编码基准测试中取得了最先进的结果，在GSM8K上达到87.1%，在MBPP上达到53.4%。
-
新方法通过自适应解码策略提高 LLM 推理速度
研究人员开发了 BlockPilot，一种新颖的投机解码方法，可自适应地预测生成文本的最佳块大小。该方法通过学习一种策略来提高效率，该策略根据预填充表示来选择块大小，从而实现显著的加速和更长的接受长度。此外，另一篇论文介绍了一种用于掩码扩散语言模型的连续解码框架，该框架允许 token 累积部分进度，为文本生成提供了更灵活的方法。
-
新的TIE框架增强了掩码扩散语言模型的集成
研究人员引入了基于轨迹的迭代集成（TIE）框架，这是一种用于结合掩码扩散语言模型（MDLM）知识的新框架。TIE专注于MDLM独特的解码动态，观察到成功的生成会保持稳定的置信度，而不可靠的生成可以通过整合其他模型的中间状态来改进。TIE框架迭代地识别并转移MDLM之间的可靠解码轨迹，使不同的模型能够在生成过程的各个阶段贡献其优势。这种方法在各种推理任务上表现出强大的性能，为MDLM集成提供了一个实用的解决方案。
-
新方法通过改进填充和知识集成来增强MDLM · 追踪6个来源
研究人员为掩码扩散语言模型（MDLM）引入了两种新颖的方法。第一种，VoidPadding，将序列结束（[EOS]）标记的语义终止和填充作用解耦，使用新的[VOID]标记进行填充。据报道，该方法在Dream-7B-Instruct等基准测试中提高了性能，并降低了解码效率低下问题。第二种方法，TIE（基于轨迹的迭代集成），侧重于整合来自多个MDLM的知识。TIE通过追踪置信度动态来识别可靠的解码轨迹，并选择性地在模型之间转移中间状态，以…
-
新的遗忘方法针对扩散语言模型
研究人员推出了一种名为掩码扩散遗忘（MDU）的新型框架，旨在从掩码扩散语言模型（MDLM）中移除特定知识。与传统的自回归模型不同，MDLM通过对掩码位置去噪来并行生成文本。MDU将遗忘过程适应于这种基于扩散的生成，旨在将模型预测从特定学习信息中转移出来，同时保持效用。实验表明MDU在MDLM遗忘方面是有效的，并且优于现有方法。
-
新研究解决扩散语言模型的局限性
研究人员正在探索改进扩散语言模型（DLM）的新方法，与自回归模型相比，DLM 提供了更快的推理速度。几篇近期论文介绍了增强 DLM 性能的技术，包括用于解耦重掩码的 NAVIRA、用于使用丢弃标记进行检索增强生成的 SARDI，以及用于支持标记揭示的 AXON。另一项研究确定了 DLM 的局限性，例如局部性偏差和来自掩码标记的干扰，并提出了一种无掩码的损失函数来改善上下文理解。此外，一项调查全面概述了 DLM 的格局，涵盖了基本原理、…