新方法使用Koopman算子进行模型可解释性分析

研究人员开发了一种名为“内在结构”的机制可解释性新方法，该方法利用Koopman算子分析模型内部动力学的谱特性。这种方法旨在区分模型固有的特征和可解释性方法产生的伪影。该研究为机制可解释性原语提供了第一个识别定理，证明了可以从校准样本中恢复模型的频谱，且误差率可预测。在GPT-2 small、Gemma 2-2B和Qwen3-8B-Base上的实验表明，频谱会收敛，并且在Qwen3-8B-Base上实现了预测的误差指数，这表明Koopman频谱可以作为模型的内在指纹。 AI

影响 这项研究可能带来更可靠的理解大型语言模型工作原理的方法，从而提高它们的安全性与性能。

排序理由 该条目是一篇学术论文，详细介绍了一种新的机制可解释性方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• alphaXiv
• CatalyzeX
• CORE Recommender
• DagsHub
• Gemma 2-2B
• Gotit.pub
• GPT-2 small
• Hugging Face
• Influence Flower
• Koopman Operator
• Qwen3-8B-Base
• ScienceCast
• Sparse Autoencoders

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →