实体
momentum-SGD
momentum-SGD
PulseAugur coverage of momentum-SGD — every cluster mentioning momentum-SGD across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的动态增益缩放方法可减小持续学习中的稳定性差距
研究人员引入了一种新颖的动态增益缩放机制来解决持续学习中的稳定性差距问题。该方法受大脑神经调质爆发的启发，旨在通过暂时增加更新幅度并重新参数化权重来平衡任务转换期间的可塑性和稳定性。在 MNIST、CIFAR 和 mini-ImageNet 基准测试上的实验表明，该技术在不损害准确性的情况下有效减小了稳定性差距，增强了转换期间的鲁棒性。
-
AdamNX算法通过新颖衰减机制增强机器学习训练 · 跟踪到1个来源
研究人员推出了一种名为AdamNX的优化算法，旨在改进现有的Adam方法以训练机器学习模型。该新算法采用了一种新颖的指数衰减机制来估计二阶矩，旨在使训练更新在平台期更接近动量-SGD。论文展示了在图像分类、目标检测和语义分割任务上的结果，并指出这些发现并未建立广泛的统计效应或超出报告配置的泛化能力。AdamNX的代码已开源。