Tensor-Train Decomposition
PulseAugur coverage of Tensor-Train Decomposition — every cluster mentioning Tensor-Train Decomposition across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新的HMD框架提供高效高光谱图像分类
研究人员开发了一种名为整体多变量分解（HMD）的新框架，用于高光谱图像分类。这种新颖的方法旨在通过捕获复杂时空光谱相互依赖性来提高准确性和效率，而无需传统卷积神经网络（CNN）的高计算成本。HMD框架，包括其HMD-0、HMD-1和HMD-2变体，被设计为一个可微分的神经网络层，可以进行端到端优化。在基准数据集上的评估表明，HMD层在性能上优于Tucker和Tensor Train等经典张量分解方法，同时在参数数量显著减少的情况下，提…
-
新的KReTTaH框架通过张量训练提供无数据插补
引入了一个名为KReTTaH的新框架，用于多路数据插补，利用张量训练和Hadamard过参数化的核回归。该方法被设计为无训练数据、可解释和非参数的。KReTTaH将插补问题重新表述为再生核希尔伯特空间内的回归问题，将张量回归系数约束在固定秩张量训练流形上，并采用Hadamard过参数化以提高效率。在功能性磁共振成像数据和动态图恢复上的数值测试表明，KReTTaH在准确性方面优于当前最先进的张量、贝叶斯和神经网络方法。
-
新的基于MPO的框架增强了多项式函数逼近能力
研究人员引入了一个名为基于矩阵乘积算子的多元多项式优化((MPO)$^2$)的新框架。该方法结合了学习到的MPO特征嵌入和紧凑的多项式权重张量，以创建高效的多项式表示。该框架不依赖于特征顺序，并且可以整合结构化算子，如投影和卷积。在回归和分类基准测试中，(MPO)$^2$在多项式函数逼近方面，相比现有的基于张量分解的多项式模型展现出改进，提供了一种灵活的替代方案。
-
新的张量训练建模提升离散扩散模型速度
研究人员引入了一个名为张量训练联合建模的新框架，以提高顺序数据的离散扩散模型的速度和效率。该方法通过显式地使用张量分解对联合分布进行建模，解决了当前模型中阻碍少步生成的局限性。该框架支持标准多重分解（CPD）和张量训练分解（TTD），其中TTD由于偏向于相邻标记依赖性，特别适合自然语言等顺序数据。通过微调，该方法可以集成到现有模型中，在减少计算成本的情况下显著提高少步生成能力。
-
MetaTT 通过张量训练适配器引入参数高效微调
研究人员推出了一种新颖的预训练 Transformer 模型参数高效微调框架 MetaTT。MetaTT 利用张量训练 (TT) 适配器对 Transformer 子模块进行因子分解，从而实现参数数量加性而非乘性扩展的更紧凑适配器。基准测试表明，MetaTT 在标准语言建模任务上实现了具有竞争力的参数效率和准确性，在多任务学习中与最先进的方法相当。此外，该框架还包含一种受物理学启发的秩自适应优化器，该优化器与 AdamW 集成时可提高优化性能。
-
新的图Transformer改进了图模型的推理
研究人员开发了上下文图推理（ICG-I），一种新颖的自回归图Transformer，旨在改进离散图模型的边际推理。该新方法使用学习到的、张量-链压缩的中间因子来模拟变量消除过程。ICG-I旨在克服精确算法的可扩展性限制以及信念传播等近似方法的收敛问题，并在各种基准测试中取得了最先进的性能。
-
张量链算法为异常检测提供新方法
研究人员开发了使用张量网络表示（特别是张量链格式）进行异常检测的新算法。这些方法通过压缩正常数据同时有效丢弃异常数据结构来工作。该算法已在包括数字、人脸和网络安全数据在内的数据集上进行了测试，以识别网络攻击。
-
新算法为张量化神经网络提供高效有限初始化
研究人员开发了用于张量化神经网络和张量网络算法中层初始化的新算法。这些方法利用弗罗贝尼乌斯范数和正线性逐项和的局部计算来管理初始化过程中潜在的发散或零范数问题。该方法在应用于矩阵乘积态/张量链和矩阵乘积算子/张量链矩阵层时显示出有效性，并显示出相对于网络大小和维度的可扩展性。所有相关代码均已公开提供。