PulseAugur
中
实时 09:26:32
English(EN) Conservation Laws from Data Symmetry in Neural Networks

神经网络训练对称性通过MSE损失产生守恒量

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员调查了训练数据中固有的对称性是否会在梯度流训练神经网络期间产生守恒量。他们的发现表明，对于解析和非多项式损失函数，数据对称性通常不会引入额外的运动积分。然而，在使用均方误差损失时，特定的数据增强技术可能导致守恒量的出现。该研究引入了一个使用“可张量化网络”的框架来模拟这种现象，该框架包括线性、多项式网络和Lightning Attention等架构。 AI

影响 这项研究通过识别守恒量，可能导致更稳定和可预测的神经网络训练，从而提高模型性能和理解。

排序理由 该集群包含一篇学术论文，详细介绍了关于神经网络训练动力学的新研究发现。

在 arXiv stat.ML 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

报道来源 [2]

  1. arXiv stat.ML TIER_1 English(EN) · Jakob Galley, Vahid Shahverdi, Axel Flinth ·

    Conservation Laws from Data Symmetry in Neural Networks

    arXiv:2606.10913v1 Announce Type: cross Abstract: We explore whether intrinsic symmetries of the training data lead to conserved quantities during gradient-flow training of neural networks. Under the assumption that the loss function is analytic and non-polynomial, we prove that …

  2. arXiv stat.ML TIER_1 English(EN) · Axel Flinth ·

    神经网络中数据对称性的守恒律

    We explore whether intrinsic symmetries of the training data lead to conserved quantities during gradient-flow training of neural networks. Under the assumption that the loss function is analytic and non-polynomial, we prove that data symmetries generically do not induce any addi…

相关实体

相关话题