PulseAugur
中
实时 23:54:27
实体 MetaAdamW

MetaAdamW

PulseAugur coverage of MetaAdamW — every cluster mentioning MetaAdamW across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
0
90 天内 0
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天

过去 90 天内暂无报道。

主题
最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_20375 ·

    新的MetaAdamW优化器使用自注意力实现自适应学习率

    研究人员开发了MetaAdamW，这是一种新颖的优化器，通过采用自注意力机制来增强自适应学习率和权重衰减。这种基于Transformer的方法根据统计特征动态调整不同参数组的超参数，旨在克服AdamW等优化器中统一设置的局限性。跨不同任务的实验表明，MetaAdamW的性能持续优于AdamW，缩短了训练时间或提高了性能。