John Hopfield
PulseAugur coverage of John Hopfield — every cluster mentioning John Hopfield across labs, papers, and developer communities, ranked by signal.
-
脑启发式 Engram Memory Network 提升 AI 可解释性
研究人员开发了一种 Engram Memory Network (EMN),这是一种受人脑记忆系统启发的新型 AI 模型,旨在提高基于原型的 AI 的可解释性和可靠性。EMN 利用受 Hopfield 启发的记忆模块来检索代表性原型,从而提高分类准确性和解释质量。实验表明,在各种数据集上,视觉相似性、子类对齐和信息保留方面都有显著改进,这表明神经科学启发机制在 AI 领域的潜力。
-
机器学习与深度学习:理解人工智能基础
机器学习和深度学习是人工智能的两个基本领域,深度学习是机器学习的一个子领域。机器学习模型是经过数据训练以进行预测或分类的数学工具。早期的人工智能研究探索了符号方法和神经网络,随后出现了分歧,统计学和连接主义方法(包括神经网络)在主流人工智能之外继续发展。机器学习在20世纪90年代重新作为一个独立的领域出现,专注于实际问题并融合了统计学和概率论的方法。
-
新研究通过隐藏神经元探索联想记忆的相 · 跟踪到2个来源
研究人员分析了一类称为H类的联想记忆,该类联想记忆利用了具有隐藏神经元的二分结构。这种结构允许在多项式和指数负载机制下研究检索动力学和存储容量。分析揭示了不同的相,包括顺磁相、凝聚相和冻结相,并强调了隐藏神经元如何充当检索的序参量。该研究还区分了多项式负载和指数负载之间的串扰统计数据,表明可见和隐藏拉格朗日量分别在固定稳定性和存储规模方面起着双重作用。
-
Hopfield网络被重新概念化为记忆的物理理论
新章节将Hopfield网络重构为记忆的物理理论,超越了其最初作为神经网络算法的设想。它详细介绍了该网络对内容可寻址记忆的动力学定义、具有Lyapunov函数的对称架构以及模式的Hebbian嵌入。本章还涵盖了能量函数、模式稳定性、用于检索的平均场理论,以及更新何时成为缩放点积注意力(scaled dot-product attention)的条件,同时区分了已确立的结果和待解决的问题。
-
新方法使用随机注意力条件化蛋白质生成
研究人员开发了一种新颖的通过无训练随机注意力采样器条件化蛋白质生成的方法。通过将多样性比率纳入采样器的logits中,可以将生成过程从广泛的蛋白质家族转移到特定的目标子集。该技术在五个Pfam家族中进行了测试,结果表明注意力机制准确地遵循了分析目标,尽管特定残基标记的恢复取决于通过主成分分析分离指定序列和背景序列。加权剖面HMM显示了更直接的标记恢复,而在涉及Kunitz序列的比较中,随机注意力实现了更低的困惑度。
-
Energy-guided Recursive Model 增强神经网络推理能力,利用 Hopfield 能量 · 跟踪 2 个来源
研究人员推出了一种新颖的递归推理方法——Energy-guided Recursive Model (ERM)。ERM 利用显式的 Hopfield 能量来指导候选轨迹的选择,提供了一种原则性的推理机制。该方法与基于能量的采样技术无缝集成,以提高效率和排名。ERM 在数独和 Pencil Puzzle Bench 等复杂任务上表现出色,优于以往的模型。
-
新的变换器架构整合吸引子动力学以提升性能
研究人员推出了一种新颖的架构——受控动力学吸引子变换器(CDAT),它将变换器的自注意力机制与联想记忆框架相结合。CDAT 集成了混合 von Mises-Fisher (Mo-vMF) 注意力能量和 Hopfield 精炼能量,并通过受 CANN 启发的调制来增强生物学上合理的推理动力学。这种方法将吸引子风格的动力学与基于能量的注意力联系起来,并在图异常检测和分类任务中展示了最先进的性能。
-
John Hopfield 1982年的论文重塑了神经网络的历史
John Hopfield 在1982年发表的一篇论文对神经网络领域产生了重大影响,为它们的历史和发展提供了新的视角。这项开创性工作对人工智能和神经科学的后续研究和理解产生了持久的影响。
-
新模型将星形胶质细胞门控记忆动力学与涌现的自注意力联系起来
研究人员开发了一种新的联想记忆模型,该模型结合了类似星形胶质细胞的增益调制,以实现涌现的自注意力。该模型基于 Hopfield 型网络,使用耦合的神经元-星形胶质细胞动力学,并保证收敛。与现有模型相比,星形胶质细胞增益有效地根据模式相似性路由信息,从而在高度干扰的情况下提高了检索准确性。
-
新模型显示自注意力从星形胶质细胞门控联想记忆中涌现
研究人员开发了一种受大脑星形胶质细胞-神经元相互作用启发的、新颖的联想记忆模型。该模型利用星形胶质细胞增益动态调节神经元连接性,从而产生一种涌现的自注意力形式。与传统的Hopfield网络相比,该系统在记忆负荷高和干扰条件下表现出更高的检索准确性。
-
Google DeepMind 科学家因 AI 驱动的蛋白质发现荣获诺贝尔奖
Google DeepMind 的 Demis Hassabis 和 John Jumper,以及华盛顿大学的 David Baker,因其在预测和设计新型蛋白质方面的工作获得了诺贝尔化学奖。他们的机器学习模型 AlphaFold2 在这一突破中发挥了重要作用,能够预测数百万种蛋白质的结构。这一成就实现了 50 年的科学梦想,并凸显了人工智能在科学发现中的变革潜力,将理论愿景变为切实的、获奖的现实。