PulseAugur
中
实时 07:29:00
English(EN) Evidence-Type Competition: When Can Interventional Data Teach Language Models Causal Direction?

在辛普森悖论场景下，干预数据未能教会语言模型因果方向

作者 PulseAugur 编辑部 · [1 个来源] ·

一篇新的研究论文探讨了干预数据在教会语言模型因果推理方面的有效性。研究发现，在呈现辛普森悖论的场景中（即观察相关性和因果效应符号相反），在预训练期间增加干预样本并不能提高模型辨别因果方向的能力。相反，模型的推理时上下文极大地影响了其解释，纯粹的观察性上下文会导致系统性的符号反转。研究表明，虽然因果推理的能力存在于模型的权重中，但其激活受推理时上下文的控制，尤其是在中间层。 AI

影响 挑战了干预数据在教会大型语言模型因果推理方面更优越的假设，表明上下文起着关键作用。

排序理由 研究论文，详细介绍了关于语言模型因果推理能力的研究结果。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

在辛普森悖论场景下，干预数据未能教会语言模型因果方向

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Xining Xun ·

    证据类型竞争：干预数据何时能教会语言模型因果方向？

    arXiv:2607.29484v1 Announce Type: new Abstract: Interventional data is widely regarded as the gold standard for teaching models causal reasoning. We test this assumption in a fully controlled synthetic environment pitting observational correlation against causal effect, and find …

相关实体

相关话题