PulseAugur
中
实时 06:09:07
English(EN) Conservation Laws from Data Symmetry in Neural Networks

神经网络训练从数据对称性中守恒量

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员调查了训练数据中固有的对称性是否会导致神经网络梯度流训练过程中出现守恒量。他们的发现表明，对于解析和非多项式损失函数，数据对称性通常不会引入额外的运动积分。然而，在使用均方误差（MSE）损失时，涉及数据增强的特定场景可能导致额外的守恒量出现。该研究引入了一个使用“可张量化网络”来描述这种现象的框架，涵盖了线性、多项式和闪电注意力网络等架构。 AI

影响 这项研究通过理解数据对称性如何影响守恒量，可能带来更稳定和可预测的神经网络训练。

排序理由 该集群包含一篇详细介绍神经网络训练新研究发现的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv stat.ML 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv stat.ML TIER_1 English(EN) · Axel Flinth ·

    神经网络中数据对称性的守恒律

    We explore whether intrinsic symmetries of the training data lead to conserved quantities during gradient-flow training of neural networks. Under the assumption that the loss function is analytic and non-polynomial, we prove that data symmetries generically do not induce any addi…

相关实体

相关话题