feature transformations

新研究将参数对称性与神经网络中的表示几何联系起来

一篇新发表在arXiv上的研究论文探讨了过参数化非线性神经网络中参数对称性与表示几何之间的关系。研究表明，一类参数对称性可以分解为三种基本特征变换：加法、复制和缩放。这种分析可以将表示几何分解为基本和辅助组件，阐明在保持函数固定的情况下，退化如何随着过参数化而增加。研究还表明，特定的实现级别选择规则可以解决这种退化，从而产生可识别的反映网络功能贡献的几何形状。