Weight Oracles

语言模型学会读取神经网络权重以进行安全审计

研究人员开发了一种名为“Weight Oracles”的新型可解释性方法，该方法允许语言模型通过直接分析神经网络的原始权重来诊断其属性。这种方法绕过了使用特定输入的传统行为测试。在初始阶段，一个解释器LLM仅凭权重就成功模拟了小型Transformer的前向传播，并取得了高精度。随后，该方法被应用于安全审计，一个在良性异常上训练的Oracle在检测后门方面表现出强大的零样本性能，优于手工制作的统计检测器。