实体
Maksim Bolshim Antonovich
Maksim Bolshim Antonovich
PulseAugur coverage of Maksim Bolshim Antonovich — every cluster mentioning Maksim Bolshim Antonovich across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新方法剖析机器学习模型中的Hessian质量
研究人员开发了一种评估机器学习中块对角曲率模型的新方法。该方法测量参数Hessian的块外分数,并分析组内曲率剖面。在CIFAR-100 ResNet-18和ResNet-50模型上的实验表明,尽管初始丢弃分数可能相似,但它们的剖面可能不同。研究还比较了不同的校正候选方案,发现仅块外Hessian作用会增加小批量损失,但组合候选方案可能提供更低的损失。
-
新方法估算神经网络训练曲率
研究人员开发了一种新颖的随机估计器,用于计算神经网络 Hessian 矩阵对角块的迹。该方法结合了 Hutchinson 估计器和单次 Hessian-向量乘积,可以在单次反向传播中实现无偏的逐层迹估计。该技术对于监控神经网络训练特别有用,因为它可以通过分析经验风险的曲率来区分健康和病态的训练模式,而这对于大型网络来说是无法直接获得的。该估计器已在 CIFAR 数据集上训练的 ResNet 和 VGG 等模型中,有效地检测出了标签记忆现象。