PulseAugur
中
实时 03:42:39
实体 hyperparameter transfer

hyperparameter transfer

PulseAugur coverage of hyperparameter transfer — every cluster mentioning hyperparameter transfer across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_42129 ·

    新研究实现了大型神经网络的高效超参数迁移

    研究人员开发了新的超参数迁移方法，实现了大型神经网络更有效的扩展。一篇论文介绍了一种由动力学平均场理论证实的参数化方法，能够实现从5100万到超过20亿参数的模型之间的可靠超参数迁移。另一项研究量化了超参数迁移，并强调了嵌入层学习率的关键作用，表明最大化其学习率可以显著提高训练稳定性和性能，尤其是在使用AdamW优化器时。