PulseAugur
中
实时 11:02:29
实体 generalized gradient descent

generalized gradient descent

PulseAugur coverage of generalized gradient descent — every cluster mentioning generalized gradient descent across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_193841 ·

    新的优化理论统一了深度神经网络的凸性和光滑性

    研究人员为深度神经网络（DNN）引入了一个新颖的优化框架，该框架推广了经典的凸性和光滑性概念。这个新框架，称为 $\mathcal{H}(\psi)$-凸性和 $\mathcal{H}(\Psi)$-光滑性，统一了凸性和非凸性，以及光滑性和非光滑目标。该研究还提出了广义梯度下降和SGD方法，理论上证明了最优学习率为1并推导了收敛率。研究进一步将DNN训练分析为一个复合优化问题，将收敛性与梯度能量减少和雅可比范数控制联系起来，并引入了梯…