实体
Hardt, Recht, and Singer
Hardt, Recht, and Singer
PulseAugur coverage of Hardt, Recht, and Singer — every cluster mentioning Hardt, Recht, and Singer across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新框架统一Lyapunov-IQC以实现加速优化器稳定性
研究人员开发了一个新的框架，使用Lyapunov函数和积分二次约束（IQC）来分析加速一阶优化算法的统一稳定性。该方法将先前关于随机梯度下降（SGD）的工作扩展到Nesterov加速梯度（NAG）等方法，这些方法由于动量动力学而更加复杂。该框架将优化器建模为反馈互连，并使用可通过半定规划（SDP）求解的线性矩阵不等式（LMIs）来认证稳定性，为验证优化算法提供了一种模块化方法。
-
论文通过泛化界批评挑战深度学习理论
讨论了两篇论文，一篇是2016年由Zhang等人发表的，另一篇是2019年由Nagarajan和Kolter发表的，它们对深度学习理论产生了影响。2016年的论文表明，标准神经网络可以轻松记住随机数据，挑战了基于假设类复杂度的现有泛化理论。随后的研究试图开发依赖于数据的界限，但2019年的论文被认为是对此类努力的又一次打击，表明一致收敛可能不足以解释深度学习的成功。