研究人员引入了“局部冗余”，一种源自通用压缩理论的信息论度量，用于量化神经网络的可塑性。这一新指标旨在改进现有的度量方法，如有效秩和死神经元比例，这些方法在预测新任务上的表现方面显示出较差的相关性。所提出的方法使用合成记忆任务上的预期梯度范数平方作为局部冗余的可计算下界。实验表明，该度量能更好地预测图像分类和时间序列任务在持续学习场景下的下游性能。 AI
影响 引入了一种更具原则性的方法来衡量神经网络的可塑性，有望提高持续学习和迁移学习的性能。
排序理由 该集群包含一篇详细介绍神经网络可塑性新理论度量的研究论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2607.13432v1 Announce Type: new Abstract: Plasticity -- a neural network's ability to adapt to new tasks -- is critical for continual and transfer learning. Existing measures, such as effective rank, dead neuron fraction, and weight norm, lack theoretical grounding and corr…
Plasticity -- a neural network's ability to adapt to new tasks -- is critical for continual and transfer learning. Existing measures, such as effective rank, dead neuron fraction, and weight norm, lack theoretical grounding and correlate poorly with performance on new tasks. We i…