实体
Yaxin Yu
Yaxin Yu
PulseAugur coverage of Yaxin Yu — every cluster mentioning Yaxin Yu across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的SHANG++方法增强了AI模型在噪声下的训练鲁棒性
研究人员开发了两种新的加速随机梯度下降方法，SHANG和SHANG++，旨在提高在乘性噪声下的稳定性和收敛性。SHANG是一种半隐式离散化方法，可增强稳定性，而SHANG++则包含阻尼校正，以实现更快的收敛和更高的噪声鲁棒性。这两种方法都被证明对凸目标和强凸目标有效，SHANG++在各种应用中都表现出一致的性能，包括深度学习任务，如训练ResNet-34，在该任务中，其准确性接近无噪声设置。
-
新的Adam启发方法显示出凸目标函数的加速收敛性
研究人员开发了受Adam优化器启发的新确定性方法，旨在提高平滑凸目标函数的收敛速度。这些方法，Adam-HNAG和Adam-HNAG-s，利用变量-算子分裂技术来解耦动量和自适应预处理。通过引入Hessian驱动的校正和Adam风格的梯度反馈，新算法在特定条件下展示了离散Lyapunov收缩，从而实现了O(k^-2)的目标值界限。数值实验表明，与原始Adam递归相比，这些方法提供了改进的性能。