Hopfield network
PulseAugur coverage of Hopfield network — every cluster mentioning Hopfield network across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
KLR训练的Hopfield网络上梯度下降与自然梯度的比较
本文对高容量联想记忆中的学习动力学进行了几何分析，特别使用了核逻辑回归（KLR）训练的Hopfield网络。文章在“优化脊”（一个以极端稳定性和倾斜权重谱为特征的区域）上比较了梯度下降（GD）和自然梯度下降（NGD）。研究表明，由于优化脊的极端曲率，GD遵循一条不稳定的振荡路径，而NGD通过校正这种几何形状，遵循最优测地线路径。这使得NGD收敛更快，并获得更好的泛化性能，突显了信息几何优化在此类结构化几何形状上的适用性。
-
新研究通过隐藏神经元探索联想记忆的相 · 跟踪到2个来源
研究人员分析了一类称为H类的联想记忆，该类联想记忆利用了具有隐藏神经元的二分结构。这种结构允许在多项式和指数负载机制下研究检索动力学和存储容量。分析揭示了不同的相，包括顺磁相、凝聚相和冻结相，并强调了隐藏神经元如何充当检索的序参量。该研究还区分了多项式负载和指数负载之间的串扰统计数据，表明可见和隐藏拉格朗日量分别在固定稳定性和存储规模方面起着双重作用。
-
Hopfield网络被重新概念化为记忆的物理理论
新章节将Hopfield网络重构为记忆的物理理论，超越了其最初作为神经网络算法的设想。它详细介绍了该网络对内容可寻址记忆的动力学定义、具有Lyapunov函数的对称架构以及模式的Hebbian嵌入。本章还涵盖了能量函数、模式稳定性、用于检索的平均场理论，以及更新何时成为缩放点积注意力（scaled dot-product attention）的条件，同时区分了已确立的结果和待解决的问题。
-
新研究详述了Hopfield神经网络合成的新成果
一篇新发表在arXiv上的研究论文详述了Hopfield神经网络合成的新成果。该研究证明，无论神经元数量是奇数还是偶数，超立方体的更多角都可以被编程为稳定状态。这项工作为与Hopfield神经网络相关的“编程问题”提供了新的视角。
-
新的Hopfield网络离散化方法保留了能量和吸引盆
研究人员开发了现代Hopfield网络的新时间离散化方法，重点在于保留能量衰减、平衡点以及至关重要的吸引盆。该研究引入了“能量元”来分析这些吸引盆，并证明了某些离散化方法（如后向欧拉法和松弛注意力图）在特定条件下可以保持这些吸引盆。研究结果通过数值实验进行了测试，结果表明连续和离散检索之间的偏差主要发生在数值推断的逃逸水平之上。
-
研究人员探索将Hopfield网络用于VLA内存模块
一位研究人员正在探索将Hopfield网络作为视觉语言架构（VLA）中的内存模块进行集成。目标是评估与现有的基于Transformer的内存模块相比，该方法的可能性和潜在优势，特别是在SmolVLA骨干网中。
-
收缩理论产生新的神经网络稳定性条件
研究人员利用收缩理论开发了一种非线性分离原理，为循环神经网络（RNN）建立稳定性条件。该原理确保了互联控制器和观测器的稳定性，并扩展到鲁棒性和跟踪。该研究还推导了特定神经网络架构收缩性的条件，并探讨了其在输出参考跟踪问题中的应用。此外，该工作还提出了设计具有竞争性精度和效率的隐式神经网络的方法。