在稀疏 Transformer 中发现可解释的权重

研究人员开发了一个自动化流程来解释权重稀疏 Transformer 中个体参数的含义。该方法能够生成人类可读的描述，说明在整个训练分布中，特定权重何时与模型的预测相关。研究发现，稀疏 Transformer 中有相当一部分（12% 至 31%）的权重可以用一个通用的描述来解释，其比例高于在稠密 Transformer 中观察到的情况。 AI

影响 提供了一种理解大型语言模型内部工作原理的方法，可能有助于调试和提高其可靠性。

排序理由 学术论文，详细介绍了一种解释神经网络组件的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• alphaXiv
• Arnau Marin-Llobet
• arXiv
• CatalyzeX
• CORE Recommender
• DagsHub
• Hugging Face
• IArxiv Recommender
• mechanistic interpretability
• transformers

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →