实体 Shenxi Wu

Shenxi Wu

PulseAugur coverage of Shenxi Wu — every cluster mentioning Shenxi Wu across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_180854 · Aug 4 · 04:00

新框架预测神经网络的超参数迁移定律

研究人员开发了一个名为超参数迁移定律的新框架，以更好地理解和预测在扩展神经网络架构时如何调整超参数。该框架引入了‘有效深度’的概念，以统一卷积神经网络（CNN）、残差网络（ResNets）和Transformer等各种多路径网络。实验表明，最优学习率随着有效深度的增加而衰减，遵循普遍的-3/2幂律，从而能够可靠地在不同深度和宽度之间进行零样本学习率迁移。