研究人员利用程序合成解释 Transformer 注意力头

研究人员开发了一种新颖的方法，使用可执行的 Python 程序来近似 Transformer 语言模型中注意力头的行为。该方法涉及生成程序，这些程序可以根据输入句子重现注意力模式，然后根据其在保留数据上的预测准确性对这些程序进行重新排序。生成的程序数量少于 1,000 个，成功地复制了 GPT-2、TinyLlama-1.1B 和 Llama-3B 等模型的注意力模式，在 TinyStories 数据集上达到了超过 75% 的相似度。用这些程序替代模型中四分之一的注意力头，只会导致困惑度略有增加，同时保留了下游问答性能，为神经网络模型提供了符号透明度的途径。 AI

影响 这项研究提供了一种提高 Transformer 模型可解释性的方法，可能有助于调试和理解其决策过程。

排序理由 该项目是一篇学术论文，详细介绍了一种解释神经网络组件的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• DagsHub
• Gotit.pub
• GPT-2
• Hugging Face
• Llama 3B
• Python
• ScienceCast
• TinyLlama-1.1B
• TinyStories

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →