Decoupled Descent

Decoupled Descent: Exact Test Error Tracking Via Approximate Message Passing

研究人员开发了一种名为Decoupled Descent (DD)的新训练算法，旨在消除参数化模型中的泛化差距。DD利用近似消息传递理论来消除数据重用引起的偏差，使训练误差能够紧密跟踪测试误差。这种方法实现了零成本验证和充分利用数据，在各种数据集上显示出优于标准梯度下降的性能，即使在放宽简化假设的情况下也是如此。