Modern Hopfield Models

Hopfield模型展现分层原型涌现

研究人员开发了一种使用具有多项式激活的密集Hopfield网络的联想记忆分层模型。该模型旨在理解像扩散模型这样的复杂架构如何学习分层相关性并泛化以创建新数据。该研究分析推导了每个层次的稳定性条件，并使用原型重建来模拟泛化，发现信息量达到准多项式级别就足以超越特定记忆或层次内的组进行泛化。研究结果在Fashion-MNIST数据集上得到观察，显示出与记忆数量和激活函数锐度相对应的相图。