研究人员推出了一种名为冯·诺依曼状态空间Transformer(VN-SST)的新型架构,旨在提高神经解码的数据效率。该模型借鉴了冯·诺依曼的计算原理,在其前馈块中使用低秩指令库,允许共享的基础算子合成特定于token的权重矩阵。这种方法模仿了低维动力学指导皮层计算的方式。在对运动皮层神经解码基准的测试中,VN-SST在数据效率方面显著优于标准Transformer,尤其是在稀疏数据集上,并在基于文本的语言建模任务上展示了更高的参数效率。 AI
影响 这种新颖的架构有望带来更高效的AI模型,尤其是在需要从有限数据进行解码的应用中。
排序理由 该集群包含一篇详细介绍新模型架构的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →