PulseAugur
中
实时 11:25:48
实体 Momentum Stochastic Gradient Descent

Momentum Stochastic Gradient Descent

PulseAugur coverage of Momentum Stochastic Gradient Descent — every cluster mentioning Momentum Stochastic Gradient Descent across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_115714 ·

    新的优化方法自适应动量以加速神经网络训练

    研究人员开发了一种新的神经网络优化方法，该方法根据每个参数的动能来调整动量系数。这种方法借鉴了连续时间动力学和结构动力学的立方阻尼，旨在与Adam等标准方法相比，提高稳定性和收敛速度。所提出的方案在涉及 Vision Transformers (ViT)、BERT 和 GPT-2 的任务上，已证明具有稳健性，并且性能与Adam相当或更优，理论结果支持其指数收敛。