Hopfield Networks
PulseAugur coverage of Hopfield Networks — every cluster mentioning Hopfield Networks across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
基于能量的Transformer在预测阅读难度方面显示出潜力
研究人员引入了一类新的Transformer模型，称为基于能量的Transformer，它们与联想记忆模型建立了正式联系。在计算心理语言学中，这种能量度量已被证明是跨多个语料库的阅读难度的有力预测因子。该研究表明，这一单一能量度量可能统一先前依赖于惊奇度（surprisal）和注意力熵（attention entropy）等多个互补预测因子的方法。
-
新型霍普菲尔德网络变体提升联想记忆鲁棒性
研究人员引入了卷积受限霍普菲尔德网络（CRHNs）作为一种新颖的联想记忆方法，旨在提高对对抗性扰动和输入损坏的鲁棒性。与现代霍普菲尔德网络（MHNs）和预测编码网络（PCNs）等现有模型不同，CRHNs将卷积特征提取与基于吸引子的记忆检索集成到一个结构化的潜在空间中。在自学学习（Self-Taught Learning）数据集上的实验表明，CRHNs的性能显著优于MHNs和PCNs，重建误差最多可降低一个数量级，并在退化程度增加的情况…
-
非对称 Hopfield 网络实现超多项式序列记忆
研究人员开发了一种新颖的非对称 Hopfield 网络构造，显著增强了其存储时间序列的能力。这些利用二元神经元和同步更新的网络，现在可以支持超多项式数量的独立极限环吸引子。这一突破使得长序列的鲁棒存储成为可能，克服了先前的限制，并展示了比以往理解的更大的序列记忆容量。
-
新的机器学习框架统一了包括Transformer在内的多种方法
一篇新的研究论文介绍了一种“定位方法”，这是一个基于定位核和局部均值的通用机器学习框架。该框架提供了统一的理论基础，并展示了与核方法、MeanShift和去噪自编码器等各种现有方法的联系。值得注意的是，该论文展示了如何从该框架推导出Transformer，为统一和设计灵活的学习系统提供了新的视角。
-
连续热密集联想记忆中的几何熵和相变分析
本文探讨了现代Hopfield网络的理论记忆容量，特别是具有连续状态的密集联想记忆模型。它推导了这些网络的य thermodynamic phase boundaries，并比较了高斯核和Epanechnikov核。研究表明，几何熵依赖于球形几何而非核函数，并阐明了类似注意力机制的记忆架构中检索鲁棒性的基本限制。
-
核 Hopfield 网络显示高存储容量，已分析稳定性限制
研究人员分析了使用核逻辑回归 (KLR) 训练的核 Hopfield 网络的几何特性和存储容量限制。他们的实验使用了随机序列和 CIFAR-10 图像嵌入，表明这些网络每个单元可以存储大约 16 个随机序列，并在接近每个单元 20 个序列的负载下保持结构化数据的稳定检索。研究发现，吸引子被清晰的边界分隔，最终的存储限制由对抗噪声的动力学稳定性决定，而不是特征空间中的几何可分性。
-
新方法以最少标注提升医学图像分割效果
研究人员开发了新的半监督学习技术，以显著减少标注需求来改进图像分割。其中一种方法SemiGDA通过双编码器对齐特征和语义分布，以增强对未标注医学图像的学习。另一种方法SemiSAM-O1将标注效率推向极致，仅使用单个标注模板图像进行分割，并利用基础模型进行特征提取和迭代优化。