研究人员探索了使用符号回归为前馈神经网络发现新颖的权重更新规则。在30个基准和神经网络组合的实验中，符号回归方法产生的更新规则在25个实例中优于已建立的优化器，平均均方误差（MSE）降低了44.47%。新发现的规则通常包含自适应归一化、类似动量的元素和非线性变换，这表明符号回归在创建高效优化器变体方面具有潜力，但建议进行更大规模的验证。 AI
影响 提出了一条开发更高效神经网络优化器的新途径，可能提高训练性能。
排序理由 学术论文，详细介绍了发现神经网络优化器的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- feedforward neural network
- gradient
- Hugging Face
- Moment Estimates Derived from Poincaré and Logarithmic Sobolev Inequalities
- Momentum
- Symbolic regression
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
