MDLMs
PulseAugur coverage of MDLMs — every cluster mentioning MDLMs across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的TIE框架增强了掩码扩散语言模型的集成
研究人员引入了基于轨迹的迭代集成（TIE）框架，这是一种用于结合掩码扩散语言模型（MDLM）知识的新框架。TIE专注于MDLM独特的解码动态，观察到成功的生成会保持稳定的置信度，而不可靠的生成可以通过整合其他模型的中间状态来改进。TIE框架迭代地识别并转移MDLM之间的可靠解码轨迹，使不同的模型能够在生成过程的各个阶段贡献其优势。这种方法在各种推理任务上表现出强大的性能，为MDLM集成提供了一个实用的解决方案。
-
新方法通过改进填充和知识集成来增强MDLM · 追踪6个来源
研究人员为掩码扩散语言模型（MDLM）引入了两种新颖的方法。第一种，VoidPadding，将序列结束（[EOS]）标记的语义终止和填充作用解耦，使用新的[VOID]标记进行填充。据报道，该方法在Dream-7B-Instruct等基准测试中提高了性能，并降低了解码效率低下问题。第二种方法，TIE（基于轨迹的迭代集成），侧重于整合来自多个MDLM的知识。TIE通过追踪置信度动态来识别可靠的解码轨迹，并选择性地在模型之间转移中间状态，以…
-
用于图到文本生成的扩散模型优先处理实体
研究人员分析了用于图到文本生成的掩码扩散语言模型（MDLM）的生成过程，发现它们在关系词和结构化标记之前优先处理实体。开发了一种新方法——lambda-缩放结构化解码，通过在推理过程中调整标记置信度来提高输出质量，实现了+9.4 BLEU-4分数。该研究还引入了Graph-LLaDA，通过整合图结构来增强LLaDA，以实现更好的泛化。