研究人员开发了用于张量化神经网络和张量网络算法中层初始化的新算法。这些方法利用弗罗贝尼乌斯范数和正线性逐项和的局部计算来管理初始化过程中潜在的发散或零范数问题。该方法在应用于矩阵乘积态/张量链和矩阵乘积算子/张量链矩阵层时显示出有效性，并显示出相对于网络大小和维度的可扩展性。所有相关代码均已公开提供。 AI
影响 为张量化网络引入了新的初始化技术，有可能提高特定模型架构的训练稳定性和效率。
排序理由 这是一篇详细介绍张量化神经网络新算法的研究论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
arXiv:2309.06577v5 Announce Type: replace Abstract: We present two algorithms to initialize layers of tensorized neural networks and general tensor network algorithms using partial computations of their Frobenius norms and positive lineal entrywise sums, depending on the type of …