ShapeJointStats

新协议审计神经网路权重读取器以实现真正理解

研究人员开发了一种新的神经网路权重读取器审计协议，这些读取器是旨在直接从神经网路权重中解释视觉内容的系统。该协议使用隐藏神经元置换和正ReLU重缩放等技术，来测试这些读取器是否能够区分功能信息与任意参数坐标。对形状场和MNIST场的实验表明，虽然一些读取器在变换下保持准确性，但另一些则会失败，这表明缺乏真正的理解。该研究还测试了小型冻结语言模型，发现它们在推理任务上的表现不一致，并不能保证真正的识别。