affine probe

新的 Jacobian Lens 工具测试 AI 模型是否使用内部信号

研究人员开发了一种新的可解释性工具，称为 Jacobian lens，旨在确定模型内部信号是否在其决策过程中被积极使用。与主要识别相关性的 logit lens 或 tuned lens 等先前方法不同，Jacobian lens 通过分析模型的平均 Jacobian 矩阵来实现可测试的干预。这使得研究人员能够选择性地编辑内部状态并观察预测的行为变化，为信号的功能作用提供了更强的证据。