Data Symmetry

神经网络训练对称性通过MSE损失产生守恒量

研究人员调查了训练数据中固有的对称性是否会在梯度流训练神经网络期间产生守恒量。他们的发现表明，对于解析和非多项式损失函数，数据对称性通常不会引入额外的运动积分。然而，在使用均方误差损失时，特定的数据增强技术可能导致守恒量的出现。该研究引入了一个使用“可张量化网络”的框架来模拟这种现象，该框架包括线性、多项式网络和Lightning Attention等架构。