Mitchell Scott

新研究概述了SGD预处理器的设计，以实现稳定性和降噪

一篇新发表在arXiv上的研究论文详细介绍了随机梯度下降（SGD）预处理器的设计标准，重点关注局部条件、噪声底和盆地稳定性。该论文推导了收敛速率和噪声底受对称正定矩阵M影响的界限。对于非凸目标，它建立了依赖于预处理器的盆地稳定性保证，这对于科学机器学习（SciML）应用尤其重要，因为在这些应用中物理保真度和数值稳定性至关重要。在诊断和SciML基准测试上的实验验证了所提出的通过选择M来改善局部条件并降低噪声的设计原则。