Bag of Dims

新的“Bag of Dims”方法实现了无需训练的 Transformer 可解释性

研究人员开发了一种名为“Bag of Dims”的新颖方法，该方法能够对 Transformer 模型进行无需训练的机械可解释性分析。该方法利用 Transformer 隐藏状态中各个维度的符号模式来编码语义内容，其功能类似于独立的二进制寄存器。在 Qwen 3.5-4B、Gemma 3-4B 和 Mistral 7B 等多个模型系列上的实验表明，仅凭这些符号模式就具有高度预测性，在下一个词预测中达到了很高的准确率，并能够在没有任何额…