linear probes
PulseAugur coverage of linear probes — every cluster mentioning linear probes across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
尽管表示形式发生变化，线性探针仍可有效迁移到蒸馏语言模型
一篇新的研究论文探讨了线性探针（一种用于检测语言模型中恶意请求的分类器）的可迁移性。研究发现，即使模型内部表示发生显著旋转，在基础模型上训练的探针也可以有效地重新用于蒸馏或指令微调的后续模型。这种可重用性在不同的模型和评估基准中都得到了观察，这表明线性探针提供了一种经济高效的审计模型的方法，而无需为每个新版本进行重新训练。
-
白化技术增强了深度神经网络对虚假相关性的鲁棒性
研究人员开发了一种称为白化的方法，以提高深度神经网络对虚假相关性的鲁棒性。该技术应用于线性探测器，使协方差矩阵的特征值相等，从而减少模型对简单、可能具有误导性的特征的依赖。在合成数据和标准基准上的实验表明，白化处理在无需预先了解虚假相关性或标记数据的情况下提高了泛化能力。
-
论文认为分离式线性探针不会提高AI可解释性
最近的一篇论文提出在RL优化过程中使用分离式线性探针，以防止模型规避可解释性工具。然而，作者认为这种方法存在缺陷，因为RL本身就是为没有精确梯度的场景设计的，将损失项移入RL并不能从根本上防止混淆。作者将此比作使用一种更慢、更不精确的优化方法来解决可以用更直接的基于梯度的方法解决的问题，认为这是一种效率低下的解决方案，并未从根本上解决模型混淆的问题。
-
新理论将马氏余弦相似度与探针性能联系起来
研究人员在理论和实践上都证明了马氏余弦相似度（MCS）是线性探针的分布外 AUROC 的有力预测指标。这种关系在各种模型、层和概念域中都成立。该研究证明，对于具有高斯投影的平衡类别，分布外 AUROC 和到参考探针的 MCS 都是探针在测试数据上信噪比的线性函数。MCS 被提出作为一种理论上合理且实践有效的替代方法，用于在可解释性研究中比较线性探针，取代欧氏余弦相似度。
-
新论文提出马氏余弦相似度用于探针比较
一篇新论文引入了马氏余弦相似度（MCS）作为一种理论上可靠的方法，用于比较在可解释性研究中常用的线性探针。与标准的余弦相似度不同，MCS使用测试数据协方差重新加权内积。研究表明，MCS与分布外性能高度相关，可能为探针比较提供一种更有效的方法。