Hopfield Networks
PulseAugur coverage of Hopfield Networks — every cluster mentioning Hopfield Networks across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新AI框架从小型队列生成合成患者数据
研究人员开发了一种名为多重性加权随机注意力（SA）的新生成框架，该框架利用现代Hopfield网络从小型纵向队列中创建合成患者数据。该方法将真实患者档案存储为记忆模式，从而能够生成与原始小型数据集的保真度和特征高度匹配的合成数据。SA框架成功应用于23名患者的纵向凝血数据，展示了其在数据有限的领域（如孕产妇健康和罕见病）进行机械校准和假设生成等任务的潜力。
-
新型Hopfield网络利用SU(d)群实现容量提升10倍
研究人员推出了一种广义Hopfield网络，该网络利用黎曼流形上的连续变量，特别关注与特殊酉群SU(d)相关的对称空间。这种新方法在临界容量方面表现出显著增强，比传统向量网络高近一个数量级，并且容量随d迅速增长。该方法采用李代数方法在辅助希尔伯特空间内的线性代数中描述网络，通过与顶部特征向量对齐实现记忆检索，这种方法比其他连续模型更不易受到串扰的影响。论文通过RGB图像编码/解码协议说明了这一点，并讨论了使用广义Landau-Lifs…
-
新型神经网络架构实现指数级模式存储
研究人员开发了一种新型多层异质联想神经网络，其存储模式的数量相对于神经元数量呈指数级增长。与传统的自联想网络不同，该网络专为异质联想任务设计，将一个提示映射到另一个不同的目标。分析表明，该网络可以随着层数的增加呈指数级存储模式，并展示了在合成数据、生物数据和自然语言意图方面的领域通用适用性。
-
Redundancy Maximization Boosts Hopfield Network Memory Capacity Tenfold
研究人员提出了一种增强Hopfield网络（一种传统上用于联想记忆的模型）学习能力的新方法。通过应用部分信息分解（PID）的原理，他们发现最大化外部输入和内部输入之间的冗余可以显著提高记忆容量。这一信息论学习目标使容量增加了十倍，超越了现有的最先进的Hopfield网络实现。
-
基于能量的Transformer在预测阅读难度方面显示出潜力
研究人员引入了一类新的Transformer模型，称为基于能量的Transformer，它们与联想记忆模型建立了正式联系。在计算心理语言学中，这种能量度量已被证明是跨多个语料库的阅读难度的有力预测因子。该研究表明，这一单一能量度量可能统一先前依赖于惊奇度（surprisal）和注意力熵（attention entropy）等多个互补预测因子的方法。
-
新型霍普菲尔德网络变体提升联想记忆鲁棒性
研究人员引入了卷积受限霍普菲尔德网络（CRHNs）作为一种新颖的联想记忆方法，旨在提高对对抗性扰动和输入损坏的鲁棒性。与现代霍普菲尔德网络（MHNs）和预测编码网络（PCNs）等现有模型不同，CRHNs将卷积特征提取与基于吸引子的记忆检索集成到一个结构化的潜在空间中。在自学学习（Self-Taught Learning）数据集上的实验表明，CRHNs的性能显著优于MHNs和PCNs，重建误差最多可降低一个数量级，并在退化程度增加的情况…
-
非对称 Hopfield 网络实现超多项式序列记忆
研究人员开发了一种新颖的非对称 Hopfield 网络构造，显著增强了其存储时间序列的能力。这些利用二元神经元和同步更新的网络，现在可以支持超多项式数量的独立极限环吸引子。这一突破使得长序列的鲁棒存储成为可能，克服了先前的限制，并展示了比以往理解的更大的序列记忆容量。
-
新的机器学习框架统一了包括Transformer在内的多种方法
一篇新的研究论文介绍了一种“定位方法”，这是一个基于定位核和局部均值的通用机器学习框架。该框架提供了统一的理论基础，并展示了与核方法、MeanShift和去噪自编码器等各种现有方法的联系。值得注意的是，该论文展示了如何从该框架推导出Transformer，为统一和设计灵活的学习系统提供了新的视角。
-
连续热密集联想记忆中的几何熵和相变分析
本文探讨了现代Hopfield网络的理论记忆容量，特别是具有连续状态的密集联想记忆模型。它推导了这些网络的य thermodynamic phase boundaries，并比较了高斯核和Epanechnikov核。研究表明，几何熵依赖于球形几何而非核函数，并阐明了类似注意力机制的记忆架构中检索鲁棒性的基本限制。
-
核 Hopfield 网络显示高存储容量，已分析稳定性限制
研究人员分析了使用核逻辑回归 (KLR) 训练的核 Hopfield 网络的几何特性和存储容量限制。他们的实验使用了随机序列和 CIFAR-10 图像嵌入，表明这些网络每个单元可以存储大约 16 个随机序列，并在接近每个单元 20 个序列的负载下保持结构化数据的稳定检索。研究发现，吸引子被清晰的边界分隔，最终的存储限制由对抗噪声的动力学稳定性决定，而不是特征空间中的几何可分性。
-
新方法以最少标注提升医学图像分割效果
研究人员开发了新的半监督学习技术，以显著减少标注需求来改进图像分割。其中一种方法SemiGDA通过双编码器对齐特征和语义分布，以增强对未标注医学图像的学习。另一种方法SemiSAM-O1将标注效率推向极致，仅使用单个标注模板图像进行分割，并利用基础模型进行特征提取和迭代优化。