实体
Bag of Dims
Bag of Dims
PulseAugur coverage of Bag of Dims — every cluster mentioning Bag of Dims across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
Bag of Dims：揭示训练无关的 Transformer 可解释性方法
研究人员开发了一种名为“Bag of Dims”的新方法，该方法实现了 Transformer 模型训练无关的机械可解释性。该方法将 Transformer 隐藏状态内的单个维度视为独立的寄存器，其中维度的符号表示语义内容，其幅度表示置信度。该框架已在语言、视觉和音频领域的各种模型中得到验证，证明仅符号模式就能以高精度预测下一个 token 准确率并检测语义类别。此外，实验表明这些特征具有因果作用，意味着可以通过操纵它们的符号来抑制模…
-
新的“Bag of Dims”方法实现了无需训练的 Transformer 可解释性
研究人员开发了一种名为“Bag of Dims”的新颖方法，该方法能够对 Transformer 模型进行无需训练的机械可解释性分析。该方法利用 Transformer 隐藏状态中各个维度的符号模式来编码语义内容，其功能类似于独立的二进制寄存器。在 Qwen 3.5-4B、Gemma 3-4B 和 Mistral 7B 等多个模型系列上的实验表明，仅凭这些符号模式就具有高度预测性，在下一个词预测中达到了很高的准确率，并能够在没有任何额…