一篇新发表在 arXiv 上的研究论文探讨了神经网络架构的集体动力学，特别是比较了 Transformer 和 Mamba 等状态空间模型。研究发现，尽管它们内部机制存在根本差异，但两种架构在其长记忆动力学中都表现出相似的“红外普适性”。这表明不同的序列架构可以收敛到相关的近边际慢模动力学，将先前的发现扩展到 Transformer 之外，并为认知场理论提供了独立的检验。 AI
影响 暗示了神经网络动力学中的一个普适原理，可能简化未来的模型设计。
排序理由 发表在 arXiv 上的学术论文，详细介绍了神经网络架构的研究成果。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
