新的张量训练建模提升离散扩散模型速度

研究人员引入了一个名为张量训练联合建模的新框架，以提高顺序数据的离散扩散模型的速度和效率。该方法通过显式地使用张量分解对联合分布进行建模，解决了当前模型中阻碍少步生成的局限性。该框架支持标准多重分解（CPD）和张量训练分解（TTD），其中TTD由于偏向于相邻标记依赖性，特别适合自然语言等顺序数据。通过微调，该方法可以集成到现有模型中，在减少计算成本的情况下显著提高少步生成能力。 AI

影响 这种新的建模方法可以显著加速顺序数据的生成式AI，可能对自然语言处理和分子设计等领域产生影响。

排序理由 该集群包含一篇详细介绍离散扩散模型新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• arXiv
• Canonical Polyadic Decomposition of Third-Order Tensors: Reduction to Generalized Eigenvalue Decomposition
• Discrete diffusion model
• Hugging Face
• Oseledets' theorem
• Tensor-Train Decomposition
• Tensor-Train Joint Modeling

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →