Tensor-Train Decomposition
PulseAugur coverage of Tensor-Train Decomposition — every cluster mentioning Tensor-Train Decomposition across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
MetaTT 通过张量训练适配器引入参数高效微调
研究人员推出了一种新颖的预训练 Transformer 模型参数高效微调框架 MetaTT。MetaTT 利用张量训练 (TT) 适配器对 Transformer 子模块进行因子分解，从而实现参数数量加性而非乘性扩展的更紧凑适配器。基准测试表明，MetaTT 在标准语言建模任务上实现了具有竞争力的参数效率和准确性，在多任务学习中与最先进的方法相当。此外，该框架还包含一种受物理学启发的秩自适应优化器，该优化器与 AdamW 集成时可提高优化性能。
-
新的图Transformer改进了图模型的推理
研究人员开发了上下文图推理（ICG-I），一种新颖的自回归图Transformer，旨在改进离散图模型的边际推理。该新方法使用学习到的、张量-链压缩的中间因子来模拟变量消除过程。ICG-I旨在克服精确算法的可扩展性限制以及信念传播等近似方法的收敛问题，并在各种基准测试中取得了最先进的性能。
-
张量链算法为异常检测提供新方法
研究人员开发了使用张量网络表示（特别是张量链格式）进行异常检测的新算法。这些方法通过压缩正常数据同时有效丢弃异常数据结构来工作。该算法已在包括数字、人脸和网络安全数据在内的数据集上进行了测试，以识别网络攻击。
-
新算法为张量化神经网络提供高效有限初始化
研究人员开发了用于张量化神经网络和张量网络算法中层初始化的新算法。这些方法利用弗罗贝尼乌斯范数和正线性逐项和的局部计算来管理初始化过程中潜在的发散或零范数问题。该方法在应用于矩阵乘积态/张量链和矩阵乘积算子/张量链矩阵层时显示出有效性，并显示出相对于网络大小和维度的可扩展性。所有相关代码均已公开提供。