Sparse Readout Prism

新方法通过特征而非标记分析语言模型预测

研究人员推出稀疏读出棱镜（Sparse Readout Prism, SRP），一种通过将读出矩阵分解为稀疏特征来分析语言模型内部工作原理的新颖方法。该方法旨在将读出矩阵的影响与隐藏状态分离开来，解决了“语料库条件性”问题，即不同的拟合语料库可能导致模型预测解释的不同。SRP揭示了读出特征作为一种新的分析单元，提供了模型生成标记预测的更稳定、更可解释的视图，即使标记身份可能具有误导性。