一篇新论文提出,有限的大脑可以通过利用空间记忆作为通用计算机来实现无界泛化。研究表明,像LSTM和Transformer这样的当前模型在处理长序列时遇到困难,因为它们不能有效地处理位置或时间信息的不断变化的值。该模型受到大脑空间表征系统(包括网格细胞模块、位置细胞和海马索引)的启发,通过读取“巧合”和不变符号来学习,使其能够像图灵机一样进行计算。这种方法在各种基准任务上显示出高精度,甚至解决了LSTM和Transformer无法解决的一些问题,并且能够反转超过15,000个符号的字符串。 AI
影响 通过模仿大脑的空间记忆,提出了AI泛化新范式,有望克服当前序列模型的局限性。
排序理由 学术论文,提出了一种受神经科学启发的、用于AI泛化的新颖计算理论。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →