PulseAugur
中
实时 04:42:13
English(EN) Anti-Collapse Dynamics and the Emergence of Multi-Time-Scale Learning in Recurrent Neural Networks

循环神经网络：抗崩溃动力学实现多时间尺度学习

作者 PulseAugur 编辑部 · [1 个来源] ·

一篇新的研究论文探讨了使用随机梯度下降训练的循环神经网络（RNN）中长期学习的挑战。该研究确定了状态动力学和参数动力学之间的竞争，这种竞争会导致快速遗忘的崩溃状态或缓慢的幂律遗忘的扩展的抗崩溃状态。这种对学习长期依赖至关重要的扩展状态，是由学习动力学中的重尾波动维持的，这些波动起到了机制的作用，而不是需要抑制的噪声。 AI

影响 这项研究可能带来改进的循环神经网络训练方法，使其能够更有效地学习长期依赖。

排序理由 该集群包含一篇详细介绍机器学习新研究发现的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

循环神经网络：抗崩溃动力学实现多时间尺度学习

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Lorenzo Livi ·

    循环神经网络中的抗崩溃动力学与多时间尺度学习的涌现

    arXiv:2606.29519v1 Announce Type: new Abstract: Long-range learning is hard for recurrent networks trained with stochastic gradient descent, because the influence of a past input fades with the lag $\ell$, and if it fades too fast the dependence cannot be learned from finite data…

相关实体

相关话题