connectionism

新研究将深度线性神经网络中的功能和表征分离开来

研究人员分析了深度线性神经网络，以理解其表征和功能之间的关系。他们发现功能相似性和表征相似性并不总是对齐的，这意味着网络可以拥有相似的表征但执行不同的任务，反之亦然。研究还发现，对参数噪声的鲁棒性，而不是对输入噪声的鲁棒性或泛化误差，限制了表征具有任务特异性。这些发现表明，表征对齐除了功能对齐之外，还提供了计算优势，影响我们如何解释和比较联结主义系统。