实体
Local Learning Coefficient
Local Learning Coefficient
PulseAugur coverage of Local Learning Coefficient — every cluster mentioning Local Learning Coefficient across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的SIVE方法改进了神经网络损失景观分析
研究人员开发了一种名为移不变方差估计器（SIVE）的新方法，以更准确地测量训练过程中神经网络损失景观的几何形状。在网络未处于稳定最小值时，估计局部学习系数（LLC）的传统方法容易产生偏差。SIVE通过使用一种基于方差的方法来解决这个问题，该方法固有地消除了未知的加性基线，从而能够更清晰地将几何损失波动与噪声分离开来。在玩具模型和深度神经网络上的实验表明，即使在旧方法失败的情况下，SIVE也能准确跟踪训练过程中的结构相变。
-
新的谱方法为深度网络复杂性分析提供更廉价的方案
研究人员推出了一种名为Dead-Direction Signatures (DDS) 的新方法，用于分析深度神经网络的复杂性。DDS 提供了一种计算成本更低的替代方案，可替代现有的局部学习系数 (LLC) 等技术，后者需要大量的校准和前向-后向传播。通过检查激活矩阵或每样本梯度 Fisher-Grams 的谱属性，DDS 提供了网络奇异结构的闭式谱读数。这种新方法已被证明在跟踪奇异值和区分不同任务的模型复杂性方面非常有效，它通过提供层…