实体
Normalized gradient descent
Normalized gradient descent
PulseAugur coverage of Normalized gradient descent — every cluster mentioning Normalized gradient descent across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的梯度下降方法在过参数模型上展现指数级收敛性
研究人员提出了一种用于优化过参数模型的新方法——双空间预条件梯度下降（Dual Space Preconditioned Gradient Descent）。该方法包含归一化梯度下降（Normalized Gradient Descent）和梯度裁剪（Gradient Clipping）等变体，已被证明在线性模型上可以指数级收敛到完美拟合数据的解。研究还探讨了这些方法的隐式偏差，表明收敛点可能取决于步长，并提供了一种近似偏差性质，将预…
-
新研究解释了Transformer如何通过梯度下降进行上下文内学习
两篇新的arXiv论文探讨了Transformer中上下文内学习（ICL）的理论基础。一篇论文展示了Transformer如何通过在每一层内隐式执行归一化梯度下降步骤来执行上下文内逻辑回归。另一篇论文研究了非线性回归，展示了注意力机制如何构建特征，使Transformer能够在不更新权重的情况下从示例中学习。