实体
Auckland University of Technology
Auckland University of Technology
PulseAugur coverage of Auckland University of Technology — every cluster mentioning Auckland University of Technology across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
新研究确立离散扩散模型的 minimax 最优性
研究人员为离散扩散模型中的分数估计建立了 minimax 下界，特别关注均匀和掩码离散扩散。他们提出了一种基于最大似然估计 (MLE) 的阈值估计器，该估计器在 KL 散度下实现了近乎最优的 minimax 样本复杂度。这项工作表明，分数-熵离散扩散 (SEDD) 在适当的初始化和离散化下可以达到近乎最优的性能。
-
新的UNIFUSION方法将自回归模型适配到离散扩散模型
研究人员开发了UNIFUSION，一种将自回归语言模型适配到离散扩散模型的新颖方法。该方法在单一的广义Kullback--Leibler目标下统一了现有的扩散目标，允许在掩码和均匀噪声等不同损坏核之间无缝切换。在GPT2检查点上的评估表明，UNIFUSION改善了生成困惑度与一元熵之间的权衡，在WinoGrande和SIQA等基准测试中优于其他扩散模型。
-
新论文通过“Oracle Distance”定理对离散扩散模型进行理论化
一篇新论文探讨了离散扩散模型的理论基础，提出了“Oracle Distance”定理。该定理将负证据下界（ELBO）等同于数据熵加上预言机和学习到的逆向过程之间的路径KL散度。该研究确定了优化器的三个精确坐标——去噪器、空腔和分数——并提供了它们之间的转换方法，统一了MDM和UDM等各种现有损失函数。