PulseAugur
中
实时 09:13:16
English(EN) Insertion Based Sequence Generation with Learnable Order Dynamics

新研究将插入式语言模型与马尔可夫链和可学习动力学相结合

作者 PulseAugur 编辑部 · [2 个来源] ·

两篇新研究论文探讨了插入式语言模型（ILM）的进展，这是一种通过插入标记来生成序列的方法。第一篇论文引入了一个连续时间马尔可夫链框架，为ILM推导出一种类似扩散的去噪目标，并表明其在提供更多采样灵活性的同时，可以与现有方法竞争。第二篇论文提出了LoFlexMDM，一种学习数据依赖性插入顺序的ILM，提高了分子任务上的生成质量。 AI

影响 这些论文推动了序列生成技术的发展，有望在分子设计和通用语言建模等领域提高性能。

排序理由 两篇在arXiv上发表的学术论文，详细介绍了序列生成的新框架和模型。

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新研究将插入式语言模型与马尔可夫链和可学习动力学相结合

报道来源 [2]

  1. arXiv cs.CL TIER_1 English(EN) · Dhruvesh Patel, Benjamin Rozonoyer, Soumitra Das, Tahira Naseem, Tim G. J. Rudner, Andrew McCallum ·

    面向插入式语言模型的连续时间马尔可夫链框架

    arXiv:2606.10199v1 Announce Type: cross Abstract: Insertion Language Models (ILMs) offer several advantages over left-to-right generation and mask-based generation. However, existing formulations of insertion-based generation have largely been ad-hoc. In this paper, we derive a d…

  2. arXiv cs.LG TIER_1 English(EN) · Dhruvesh Patel, Benjamin Rozonoyer, Gaurav Pandey, Tahira Naseem, Ram\'on Fernandez Astudillo, Andrew McCallum ·

    基于可学习顺序动力学的插入式序列生成

    arXiv:2602.18695v2 Announce Type: replace Abstract: Existing insertion-based masked diffusion models that generate sequences by interleaving token insertion with unmasking use fixed schedules that are not dependent on the data. For structured sequences like graphs and molecules, …

相关实体

相关话题