Gemma-3-270M

eNTK特征值分析揭示了训练过的神经网络中的特征

研究人员已经证明，分析经验神经切线核（eNTK）可以揭示训练过的神经网络中的特征方向。该方法在1层MLP和1层Transformer上进行了测试，结果表明eNTK的顶部特征空间与真实或可解释的特征对齐。对于预训练语言模型Gemma-3-270M，eNTK的特征向量在语法特征上的对齐效果优于模型激活上的PCA，这表明eNTK特征值分析可作为一种机制可解释性工具。