研究人员为训练Transformer开发了新的泛化界，将该过程视为一个马尔可夫控制问题。通过量化状态、动作和度量状态空间，他们使用集中不等式推导出了明确的有限样本泛化界。该框架还支持分布鲁棒控制的构建，将Transformer泛化与Wasserstein分布鲁棒优化联系起来。 AI
影响 在理解Transformer训练动态和泛化方面引入了理论进展。
排序理由 该集群包含一篇详细介绍机器学习新理论贡献的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- approximation error
- dynamic programming
- Markovian control problem
- metric spaces
- Transformers
- value function
- Wasserstein distributionally robust optimization
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
