MDLMs
PulseAugur coverage of MDLMs — every cluster mentioning MDLMs across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
Masked Diffusion Language Models outperform AR models for agentic RL
一篇新的研究论文介绍了掩码扩散语言模型（MDLM）作为文本世界模型在代理强化学习中优于自回归（AR）模型的替代方案。MDLM 通过利用双向锚点感知去噪，展示了增强的一致性和扎实性，即使在后者规模大得多的情况下，其性能也优于 AR 模型。该研究还提出了一个新的 GRPO 训练框架，并在各种代理骨干网络上展示了在未见过环境中的大量零样本迁移收益。
-
新的掩码感知策略梯度在基准测试中提升DLM推理能力 · 跟踪2个来源
研究人员开发了一种名为掩码感知策略梯度的新方法，以增强扩散语言模型（DLMs）的推理能力。该方法通过准确估计对数似然，解决了将强化学习应用于掩码扩散语言模型（MDLMs）的挑战。该技术将生成过程形式化为两阶段动作马尔可夫决策过程，优化了token放置和掩码决策。这种双重优化在数学推理和编码基准测试中取得了最先进的结果，在GSM8K上达到87.1%，在MBPP上达到53.4%。
-
新的TIE框架增强了掩码扩散语言模型的集成
研究人员引入了基于轨迹的迭代集成（TIE）框架，这是一种用于结合掩码扩散语言模型（MDLM）知识的新框架。TIE专注于MDLM独特的解码动态，观察到成功的生成会保持稳定的置信度，而不可靠的生成可以通过整合其他模型的中间状态来改进。TIE框架迭代地识别并转移MDLM之间的可靠解码轨迹，使不同的模型能够在生成过程的各个阶段贡献其优势。这种方法在各种推理任务上表现出强大的性能，为MDLM集成提供了一个实用的解决方案。
-
新方法通过改进填充和知识集成来增强MDLM · 追踪6个来源
研究人员为掩码扩散语言模型（MDLM）引入了两种新颖的方法。第一种，VoidPadding，将序列结束（[EOS]）标记的语义终止和填充作用解耦，使用新的[VOID]标记进行填充。据报道，该方法在Dream-7B-Instruct等基准测试中提高了性能，并降低了解码效率低下问题。第二种方法，TIE（基于轨迹的迭代集成），侧重于整合来自多个MDLM的知识。TIE通过追踪置信度动态来识别可靠的解码轨迹，并选择性地在模型之间转移中间状态，以…
-
用于图到文本生成的扩散模型优先处理实体
研究人员分析了用于图到文本生成的掩码扩散语言模型（MDLM）的生成过程，发现它们在关系词和结构化标记之前优先处理实体。开发了一种新方法——lambda-缩放结构化解码，通过在推理过程中调整标记置信度来提高输出质量，实现了+9.4 BLEU-4分数。该研究还引入了Graph-LLaDA，通过整合图结构来增强LLaDA，以实现更好的泛化。