Masked Diffusion Models
PulseAugur coverage of Masked Diffusion Models — every cluster mentioning Masked Diffusion Models across labs, papers, and developer communities, ranked by signal.
-
新的PUMA方法加速了遮蔽扩散模型的训练
研究人员推出了一种名为渐进式解遮蔽（Progressive UnMAsking, PUMA）的新方法，用于加速遮蔽扩散模型（MDMs）的训练。PUMA使训练期间使用的遮蔽模式与推理期间使用的模式保持一致，从而将优化集中在更相关的遮蔽上。该方法在预训练方面显示出显著的加速效果，在1.25亿参数规模下，训练时间大约快了2.5倍。
-
BlockGen 模型探索使用混合采样器进行分块序列生成
研究人员推出了一种新颖的分块序列建模方法 BlockGen，该方法利用混合采样器进行离散扩散。该方法比较了统一状态扩散模型 (USDMs) 与掩码扩散模型 (MDMs) 在分块生成序列（而非逐个 token 生成）时的有效性。BlockGen 将自回归 (AR) 预测与扩散模型相结合，以优化不太可能的 token，在 GSM8K 和 OpenWebText 等任务上表现出竞争力。
-
新研究解决扩散语言模型的局限性
研究人员正在探索改进扩散语言模型（DLM）的新方法，与自回归模型相比，DLM 提供了更快的推理速度。几篇近期论文介绍了增强 DLM 性能的技术，包括用于解耦重掩码的 NAVIRA、用于使用丢弃标记进行检索增强生成的 SARDI，以及用于支持标记揭示的 AXON。另一项研究确定了 DLM 的局限性，例如局部性偏差和来自掩码标记的干扰，并提出了一种无掩码的损失函数来改善上下文理解。此外，一项调查全面概述了 DLM 的格局，涵盖了基本原理、…
-
新的大语言模型训练方法提高了效率和错误恢复能力
研究人员开发了提高大语言模型（LLM）训练效率的新技术。一种名为“步进拒绝微调”（SRFT）的方法，通过评估每个步骤的正确性来利用不成功的训练轨迹，使模型能够在不重复错误的情况下从中学习。该方法将SWE-bench任务的解决率提高了3.7%。另一项开发，“无限掩码扩散模型”（IMDM），通过引入随机无限状态掩码来解决掩码扩散模型（MDMs）中的因子化错误。IMDM展示了卓越的几步生成能力，并在与蒸馏结合时，在LM1B和OpenWebT…