Jakob Paul Zimmermann

新研究探讨神经网络损失景观和跳跃连接

研究人员在教师-学生设置中研究了浅层、无偏置的ReLU神经网络的损失景观，以更好地理解特征学习和过参数化。他们的发现表明，引入学习到的线性跳跃连接可以消除这些网络中的虚假局部极小值，特别是当学生网络的宽度至少与教师网络一样宽时。这与缺乏此类跳跃连接的网络形成对比，在这些网络中，即使有广泛的过参数化，虚假极小值也可能持续存在。该研究还表明，具有正输出权重的学生网络能够持续学习教师网络的特征子空间。