Linear Centroid Hypothesis

新研究揭示了AI模型优化器中的梯度方向敏感性

研究人员通过检查损失梯度而非优化器更新，发现了一种分析神经网络学习的新方法。这种方法称为梯度方向敏感性（GDS），揭示了特定特征方向与线性质心之间比之前观察到的更强的耦合。研究发现，GDS将测得的耦合度显著提高了1到2个数量级，为参数空间中的特征形成提供了更清晰的诊断。此外，使用GDS将注意力更新限制在秩3子空间，将模型的理解速度提高了约2.3倍。