研究人员开发了一个新的理论框架来理解状态空间模型(SSMs)的训练动态。通过将连续时间SSM参数优化构建为集成最优控制问题,他们通过状态轨迹和共享控制参数来分析训练过程。这种方法揭示了哈密顿梯度代表目标的一阶变分密度,从而产生了一个Bregman镜像下降方案,在欧几里得几何中简化为函数投影梯度下降。稳定性分析表明,在充分正则化下,最优控制问题存在唯一的最小值,并确定了SSMs的具体收敛速率。 AI
影响 为分析和潜在改进状态空间模型等序列模型的训练提供了一个新颖的理论视角。
排序理由 学术论文,详细介绍了理解模型训练动态的新理论框架。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Bregman mirror-descent
- ensemble optimal control
- Euclidean geometry
- functional projected gradient descent
- Hamiltonian gradient
- Hugging Face
- State-adjoint
- State Space Models
- Ye Feng
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →