PulseAugur
实时 03:06:17

Regularization in ML can create emergent Hebbian dynamics

一篇新的研究论文探讨了机器学习中的正则化技术如何导致涌现的赫布动力学。研究表明,L2权重衰减(一种常见的正则化方法)可以使更新规则中的学习信号与赫布方向对齐。这种现象不仅限于特定的学习算法,甚至可以在学习结束之前发生。此外,研究还表明,学习信号中的随机噪声会诱导反赫布对齐,这使得突触测量的解释复杂化,并需要通过实验来区分真正的赫布计算和这些涌现的特征。 AI

影响 表明神经网络中观察到的类似赫布的结构可能并不总是源于明确的赫布学习机制。

排序理由 该集群包含一篇在arXiv上发表的研究论文,详细介绍了机器学习理论的新发现。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · David Koplow, Tomaso Poggio, Liu Ziyin ·

    正则化学习中涌现赫布动力学的普遍性

    arXiv:2505.18069v3 Announce Type: replace Abstract: Hebbian and anti-Hebbian plasticity are widely observed in the brain and are classically modeled as mechanistic, local homosynaptic rules stabilized by homeostatic constraints. This raises an identifiability question: does obser…