Alberto Fernández-Hernández
PulseAugur coverage of Alberto Fernández-Hernández — every cluster mentioning Alberto Fernández-Hernández across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新方法优化Adam优化器的内存参数\beta
研究人员开发了一种优化Adam优化器中内存参数\beta的新颖方法。该技术涉及一个简短的试点训练阶段来选择最佳的\beta值，然后将其固定用于完整的训练过程。通过平衡采样变异性与平均过去梯度的延迟，该方法提出了一个立方内存规则，其系数从梯度探针中估计。对视觉和语言任务的回顾性评估表明，与标准的网格搜索和最佳拟合常数\beta值相比，验证差距显著减小。
-
Adam 优化器的绑定动量参数揭示了独特的训练动态
一篇新发表在 arXiv 上的论文探讨了 Adam 优化器的动态，Adam 是大规模 AI 训练的核心组件。该研究识别出与其两个动量参数 $\beta_1$ 和 $\beta_2$ 相关的特定机制。研究表明，当这些参数绑定时（$\beta_1 = \beta_2$），更新坐标中的滞后项会消失，从而导致以符号为主的更新和更平滑的训练轨迹。这一发现为绑定动量配置为何具有动态独特性并能保持强劲性能提供了机制性解释。
-
新的OUIDecay方法逐层自适应CNN正则化
研究人员推出了一种新颖的卷积神经网络自适应权重衰减方法OUIDecay。该技术根据在线激活模式动态调整每层的正则化强度，旨在提高训练效率和性能。与现有方法不同，OUIDecay不需要验证集，并在多个基准数据集和网络架构上展示了卓越的结果。
-
新研究改进了 Adam 优化器的内存和噪声动态
两篇新研究论文探讨了 Adam 优化器的细微差别，Adam 优化器是深度学习中一个流行的工具。第一篇论文为 Adam 的动量参数提出了一条“刷新规则”，建议它应该随着训练数据的大小进行缩放，以优化不同规模下的性能和鲁棒性。第二篇论文深入研究了小批量噪声（受批量大小和 Adam 超参数的影响）如何影响优化器的隐式偏差和泛化能力，特别是在多周期训练场景中。