交叉熵训练下 Transformer 层的均场控制分析

研究人员使用连续深度均场控制的视角，在交叉熵训练框架内分析了 Transformer 层。他们将深度视为时间，将层参数视为控制，将 Transformer 递归建模为受控隐藏状态流的显式欧拉方案。该研究为极限种群问题推导了庞特里亚金条件，其中终端伴随项包含 softmax 残差，并为有限类和度量熵场景提供了估计。 AI

影响 为理解和潜在优化 Transformer 架构提供了一个新的理论框架。

排序理由 该集群包含一篇详细介绍 Transformer 层新分析方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv stat.ML 阅读 →

• arXiv
• cross entropy
• Euler Scheme for One-Dimensional SDEs with Time Dependent Reflecting Barriers
• Hugging Face
• Mean-field control for efficient mixing of energy loads
• Pontryagin condition
• Softmax
• transformer

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →