Tensor-Train Joint Modeling

新的张量训练建模提升离散扩散模型速度

研究人员引入了一个名为张量训练联合建模的新框架，以提高顺序数据的离散扩散模型的速度和效率。该方法通过显式地使用张量分解对联合分布进行建模，解决了当前模型中阻碍少步生成的局限性。该框架支持标准多重分解（CPD）和张量训练分解（TTD），其中TTD由于偏向于相邻标记依赖性，特别适合自然语言等顺序数据。通过微调，该方法可以集成到现有模型中，在减少计算成本的情况下显著提高少步生成能力。