PulseAugur
中
实时 09:58:38

新方法衡量神经网络训练动态中的可预测性

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了一种新方法来衡量神经网络训练动态中的结构化可预测性。该方法使用互补的探针族来分析时间冗余，识别在何时何种条件下，近期更新会影响未来参数的运动。研究发现，与特征变换权重相比，归一化和偏置等辅助参数表现出更简单的动态，而特征变换权重在局部、时变区域内表现出可预测的行为。该诊断工具应用于 CIFAR 上的视觉训练和 Pythia 预训练检查点，揭示了架构和训练方法如何影响所测量的结构。 AI

影响 提供了一种新的回顾性诊断方法，用于理解和潜在地优化神经网络训练过程。

排序理由 该集群包含一篇学术论文，详细介绍了分析神经网络训练动态的新方法。 [lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新方法衡量神经网络训练动态中的可预测性

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Fanqi Wang, Weisheng Tang, Hairong Qi ·

    神经训练动力学中的结构化可预测性测量：跨制度研究

    arXiv:2608.15483v1 Announce Type: new Abstract: Modern deep networks are trained through long update trajectories, yet their temporal organization remains less systematically characterized than architectures, losses, or optimizers. We study short-horizon predictability as a measu…

相关实体

相关话题