新方法解码LLM隐藏状态中的因果推理

研究人员开发了一种方法来分析语言模型如何根据诊断证据解释因果问题。通过使用改变因果目标但证据 verbatim 的配对提示，他们可以解码模型是倾向于、挑战还是未能解决该主张。这种分析应用于 Qwen2.5-7B-Instruct 和 Llama 3.1 8B-Instruct 等模型，揭示了模型的隐藏状态包含可线性解码的因果推理信息，优于简单的基线。 AI

影响 提供了一种探测LLM推理能力的方法，可能提高可解释性和可信度。

排序理由 研究论文，详细介绍了一种分析LLM状态的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• DagsHub
• Gotit.pub
• Hugging Face
• Llama 3.1 8B-Instruct
• Qwen2.5-7B-Instruct
• Qwen3_8B
• ScienceCast

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →