一篇新的arXiv论文探讨了深度学习与控制理论的交叉点,为理解神经网络架构和训练算法提供了新的视角。该论文详细介绍了如何将控制理论的概念应用于分析前馈网络、Transformer和大型语言模型。它强调了残差神经网络与连续时间控制系统之间的联系,并将Transformer离散化视为一种共识算法,表明大型语言模型表现出共识。此外,该研究调和了反向传播与最优控制之间的关系,弥合了离散时间和连续时间方法之间的差距。 AI
影响 通过利用控制理论原理,为理解和潜在改进深度学习模型提供了理论框架。
排序理由 该集群包含一篇发表在arXiv上的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- backpropagation
- control theory
- feedforward neural network
- large-language models
- optimal control
- Selective State Space Models
- transformers
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →