SHANG++

新的SHANG++方法增强了AI模型在噪声下的训练鲁棒性

研究人员开发了两种新的加速随机梯度下降方法，SHANG和SHANG++，旨在提高在乘性噪声下的稳定性和收敛性。SHANG是一种半隐式离散化方法，可增强稳定性，而SHANG++则包含阻尼校正，以实现更快的收敛和更高的噪声鲁棒性。这两种方法都被证明对凸目标和强凸目标有效，SHANG++在各种应用中都表现出一致的性能，包括深度学习任务，如训练ResNet-34，在该任务中，其准确性接近无噪声设置。