Diffusion language models
PulseAugur coverage of Diffusion language models — every cluster mentioning Diffusion language models across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新的Sangam系统可高效服务扩散式大语言模型
研究人员开发了Sangam，一个新颖的、旨在高效处理扩散式大语言模型（dLLMs）的服务系统。与传统的自回归模型不同，dLLMs通过迭代去噪生成文本，并且由于其双向注意力机制，无法直接应用标准的KV缓存。Sangam通过引入一个赤字令牌预算调度器来解决这个问题，该调度器优先处理正在进行的解码，并仅在令牌预算允许时才允许整个预填充，从而确保了摊销的无停滞调度。该系统还采用了一种混合服务策略来管理预填充-解码资源分区，从而优化了对解码密集…
-
新型扩散语言模型统一文本与图学习
研究人员开发了TAG-DLM，一种将文本推理和图消息传递统一在掩码扩散语言模型中的新方法。该方法将局部图邻域线性化为令牌序列，通过拓扑注意力掩码注入图结构。TAG-DLM在文本属性图基准测试中表现出色，其性能比现有的图神经网络、图Transformer和基于LLM的基线高出3.9个百分点。
-
苹果研究人员通过新的解码技术推进扩散语言模型
苹果的机器学习研究部门发表了几篇论文，详细介绍了扩散语言模型（dLLMs）的进展。与自回归模型相比，这些模型通过并行解码多个 token，有可能实现更快的推理。研究包括探索用于口语模型的连续扩散、通过残差上下文扩散（RCD）提高 dLLM 的效率，以及使用强化学习训练解遮蔽策略。其他工作则侧重于通过专家产品（PoE）等技术弥合扩散模型和自回归模型之间的差距，并开发统一不同解码策略的混合模型。
-
全新 7B 统一扩散语言模型 'Sumi' 发布，伴随扩散模型进展
研究人员推出了 Sumi，一个拥有 70 亿参数的统一扩散语言模型 (UDLM)，该模型在 1.5 万亿 tokens 上从头开始预训练。这个开源模型在知识、推理和编码任务上表现出与自回归模型相当的性能，但在常识基准测试上表现稍逊。发布内容包括模型权重、检查点以及完整的训练方法，旨在为大规模研究 UDLM 提供参考。此外，其他研究探索了扩散语言模型的进展，包括生成 CUDA 核的方法、通过自生成错误训练改进 Token 编辑，以及开发…
-
TimpaTeks 通过扩散语言模型实现文本原地修改
研究人员开发了 TimpaTeks，一种使用扩散语言模型（DLM）进行文本原地修改的新方法。该技术允许在现有文本序列中进行概念引导，而无需指令调优模型。在情感分析和概念修改方面的实验证明了 TimpaTeks 在保持句子结构和降低困惑度方面修改文本的有效性，为基于提示的引导提供了一种计算效率更高的方法。
-
新方法提升扩散语言模型解码速度和质量
研究人员正在开发新方法来改进扩散语言模型（DLM）的解码过程。DLM能够并行生成文本，但目前在质量上落后于自回归模型。几篇论文提出了新颖技术，通过更好地捕捉词元关系和改进扩散解码器与语言模型之间的接口来弥合这一差距。这些进展旨在提高DLM生成的速度和准确性，使其在数学推理和代码生成等复杂任务中更具竞争力。
-
新的水印技术增强了AI内容的来源可追溯性
研究人员开发了新的扩散语言模型水印方法，以确保内容的来源可追溯性。一种方法是“全局草图式水印”，它使用文本的全局草图表示，将检测与局部上下文分离，并提供与顺序无关的统计信息。另一种方法DiffMark是一个即插即用框架，在去噪步骤中嵌入持久的扰动，能够快速提取多比特信息，并在无需重新训练的情况下实现跨架构的可移植性。
-
NVIDIA 发布 Nemotron-Labs 扩散语言模型，实现更快的文本生成
NVIDIA 推出了名为 Nemotron-Labs Diffusion 的新型扩散语言模型（DLM）系列，旨在克服传统自回归模型的局限性。这些 DLM 通过并行创建多个 token，然后进行迭代优化来生成文本，有望提高速度并能够修改之前的输出。该模型提供 3B、8B 和 14B 参数规模的版本，包括基础模型和指令微调的聊天模型变体，并包含一个视觉语言模型。
-
新研究解决扩散语言模型的局限性
研究人员正在探索改进扩散语言模型（DLM）的新方法，与自回归模型相比，DLM 提供了更快的推理速度。几篇近期论文介绍了增强 DLM 性能的技术，包括用于解耦重掩码的 NAVIRA、用于使用丢弃标记进行检索增强生成的 SARDI，以及用于支持标记揭示的 AXON。另一项研究确定了 DLM 的局限性，例如局部性偏差和来自掩码标记的干扰，并提出了一种无掩码的损失函数来改善上下文理解。此外，一项调查全面概述了 DLM 的格局，涵盖了基本原理、…
-
Apple 研究人员为扩散模型泛化识别局部分数
Apple 的研究论文探讨了条件扩散模型中组合泛化机制，特别关注这些模型如何处理生成比训练时更多的对象的图像。研究确定“局部条件分数”是实现此能力的关键因素，表明成功进行长度泛化的模型表现出这些分数，而失败的模型则没有。研究还提出了一种强制执行这些局部分数的方法，该方法成功地使先前表现不佳的模型实现了长度泛化。