Onsager Corrections

Decoupled Descent 训练方法有望实现精确的训练-测试误差跟踪

一种名为 Decoupled Descent (DD) 的新训练方法被提出，以解决训练误差下降而测试误差停滞或增加的问题。该方法在一篇理论论文中详细介绍，利用了高维统计理论的技术，特别是近似消息传递，以确保在每个参数迭代中，训练误差渐近地等于测试误差。该论文认为，这种方法可以为神经网络带来更好的最优停止和超参数调整策略，并有可能在未来应用于 SGD 和更通用的模型。