David Koplow

Regularization in ML can create emergent Hebbian dynamics

一篇新的研究论文探讨了机器学习中的正则化技术如何导致涌现的赫布动力学。研究表明，L2权重衰减（一种常见的正则化方法）可以使更新规则中的学习信号与赫布方向对齐。这种现象不仅限于特定的学习算法，甚至可以在学习结束之前发生。此外，研究还表明，学习信号中的随机噪声会诱导反赫布对齐，这使得突触测量的解释复杂化，并需要通过实验来区分真正的赫布计算和这些涌现的特征。