Markovian control problem

New Bounds for Transformer Training via Optimal Control and Robust Optimization

研究人员为 Transformer 训练开发了新的有限样本泛化界限，将该过程构建为一个马尔可夫控制问题。通过分析量化模型并使用集中不等式，他们为度量空间上的经验定律推导出了显式界限。这项工作还将 Transformer 泛化与 Wasserstein 分布鲁棒优化联系起来。