实体
FlexMDM
FlexMDM
PulseAugur coverage of FlexMDM — every cluster mentioning FlexMDM across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
新的 $\delta$MDM 模型支持可纠错的可逆序列生成
研究人员开发了一种新的基于插入的掩码扩散模型，称为 $\delta$MDM，它通过允许对中间输出进行纠错来改进序列生成。与之前的生成决策不可逆的模型不同，$\delta$MDM 结合了替换和删除操作，使其能够修改或删除先前生成的标记。这种纠错机制允许更积极的解码，从而缩短推理时间和提高输出质量。与 FlexMDM 等现有方法相比，该模型在无条件文本生成任务和 TinyGSM 等条件任务上均表现出优越的性能。
-
新方法使语言模型能够执行“任意顺序推理”
研究人员开发了新的方法，使语言模型能够执行“任意顺序推理”，这是一种非因果推理过程，类似于程序员通过在高层概念和具体细节之间切换来编写代码。现有的自回归模型由于固定的位置承诺而难以实现这一点。提出的解决方案包括基于插入的掩码扩散，它通过放松固定位置允许跨非连续区域生成；以及潜在空间掩码扩散，它将预测转移到更粗粒度的语义片段，以搜索生成顺序。这些方法在 Python 编码和 GSM8K 基准测试等任务上表现出改进的性能。
-
新研究将插入式语言模型与马尔可夫链和可学习动力学相结合
两篇新研究论文探讨了插入式语言模型（ILM）的进展，这是一种通过插入标记来生成序列的方法。第一篇论文引入了一个连续时间马尔可夫链框架，为ILM推导出一种类似扩散的去噪目标，并表明其在提供更多采样灵活性的同时，可以与现有方法竞争。第二篇论文提出了LoFlexMDM，一种学习数据依赖性插入顺序的ILM，提高了分子任务上的生成质量。