PulseAugur
中
实时 14:49:53
实体 teacher-student network

teacher-student network

PulseAugur coverage of teacher-student network — every cluster mentioning teacher-student network across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_08352 ·

    新研究探讨了网络对称性如何帮助优化过参数化的深度学习模型。

    一篇新论文分析了神经网络中的过参数化如何通过引入额外的对称性来帮助优化。这些对称性充当了Hessian的预条件形式，从而导致更好的条件最小化。此外，过参数化增加了找到接近典型初始化的全局最小值的可能性，使其更容易获得。通过师生网络进行的实验证实了这些理论预测，显示随着网络宽度的增加，收敛性和条件数都有所改善。