Loss Landscape
PulseAugur coverage of Loss Landscape — every cluster mentioning Loss Landscape across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新的DSCH-Loss方法增强了深度语义哈希性能
研究人员推出了一种用于深度语义哈希的新型目标函数DSCH-Loss，旨在提高近似最近邻搜索的效率和准确性。与使用固定语义通道的先前方法不同，DSCH动态调整这些通道以创建更平滑的损失景观，从而简化了优化过程。该新方法使用与tie相关的平均精度（mAP）进行了评估，并在各种数据集和模型架构上展示了卓越的性能，在40项检索任务中的35项中实现了更高的mAP分数。
-
新的“权重范数临界性”解释了AI训练不稳定性
研究人员发现了一个新的深度神经网络训练不稳定的关键因素，称为“权重范数临界性”。这种现象不同于普遍理解的“学习率临界性”，它源于归一化技术和权重衰减之间的相互作用。随着权重衰减的增加，它可能将参数范数推向零，导致更陡峭的损失景观和突然的损失尖峰，从而破坏优化动态。这一发现为解释为什么过度的权重衰减虽然可能提高泛化能力，但最终会阻碍训练提供了机制性解释。
-
神经网络的Hessian谱与数据分布相关
一篇新发表在arXiv上的研究论文探讨了Hessian矩阵的谱与深度学习模型中使用的数据之间的关系。该研究推导了线性网络的特征值，揭示了对于具有MSE损失的分类任务，解的尖锐度直接与最大类别中的样本比例相关。这些发现得到了经验验证，并且即使在引入非线性后也显示出鲁棒性，将其适用性扩展到更实际的学习场景。
-
新的研究框架对稳定性边缘的梯度下降进行建模
两篇新的研究论文探讨了深度学习中在稳定性边缘（EoS）运行的梯度下降现象。第一篇论文介绍了“Edge Flow”，这是一个微分方程系统，用于模拟EoS下的梯度下降动力学，将其分解为中心、振荡方向和幅度。第二篇论文提出了一个适用于过参数化神经网络的分岔理论框架，展示了稳定的EoS训练如何从翻转分岔产生，并在特定条件下证明了收敛到最小化流形。