path patching

权重剪枝可能损害 AI 模型电路而不会影响准确性

一篇新发表在 arXiv 上的研究论文，调查了 Transformer 语言模型中权重剪枝的失效模式，具体使用了 GPT-2 作为测试对象。研究人员发现，像准确率和困惑度这样的标准指标可能会掩盖剪枝造成的显著内部计算损伤。例如，注意力头的幅度剪枝可以有效地将特定电路归零，而神经元剪枝则可能颠倒其功能，导致整体性能指标未反映出的系统性错误。该研究强调，在评估压缩的语言模型时，需要进行电路级别的因果分析来补充传统评估。