实体
Discrete diffusion model
Discrete diffusion model
PulseAugur coverage of Discrete diffusion model — every cluster mentioning Discrete diffusion model across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的张量训练建模提升离散扩散模型速度
研究人员引入了一个名为张量训练联合建模的新框架，以提高顺序数据的离散扩散模型的速度和效率。该方法通过显式地使用张量分解对联合分布进行建模，解决了当前模型中阻碍少步生成的局限性。该框架支持标准多重分解（CPD）和张量训练分解（TTD），其中TTD由于偏向于相邻标记依赖性，特别适合自然语言等顺序数据。通过微调，该方法可以集成到现有模型中，在减少计算成本的情况下显著提高少步生成能力。
-
新论文通过“Oracle Distance”定理对离散扩散模型进行理论化
一篇新论文探讨了离散扩散模型的理论基础，提出了“Oracle Distance”定理。该定理将负证据下界（ELBO）等同于数据熵加上预言机和学习到的逆向过程之间的路径KL散度。该研究确定了优化器的三个精确坐标——去噪器、空腔和分数——并提供了它们之间的转换方法，统一了MDM和UDM等各种现有损失函数。