Ziyin et al.

研究论文分析SGD在学习同一性函数时选择解决方案

一篇新研究论文探讨了随机梯度下降（SGD）在深度线性残差网络中学习同一性函数时如何选择特定解决方案。尽管存在许多可最小化总体损失的解决方案，但SGD始终偏好特定的解决方案，这可以通过熵损失的视角来理解。这个熵项会惩罚小批量梯度期望的平方范数，有助于区分网络层之间同一性的不同功能分解。该研究分析性地描述了这种熵损失的最小化器，并利用这些预测来解释SGD训练网络的观察行为。