PulseAugur
中
实时 06:34:14
English(EN) Words as Difference Makers: How Large Language Models Determine Causal Structure in Text

新论文表明大型语言模型通过差异制造逻辑学习因果关系

作者 PulseAugur 编辑部 · [1 个来源] ·

一篇新论文提出，大型语言模型（LLMs）通过一种称为变分归纳的过程学习因果结构，该过程依赖于识别文本数据中的差异制造者。研究认为，LLMs采用一种与实验方法平行的逻辑，即改变环境可以揭示因果关系。这种归纳方法在训练过程中通过处理大量文本来识别有影响力的词语和短语来实现，其中令牌嵌入和自注意力等架构特征起着关键作用。 AI

影响 提出了一个理解LLMs如何获得因果推理能力的新框架，可能影响未来的模型开发。

排序理由 在arXiv上发表的关于LLM能力的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新论文表明大型语言模型通过差异制造逻辑学习因果关系

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Wolfgang Pietsch ·

    文字作为差异制造者：大型语言模型如何确定文本中的因果结构

    Because large language models (LLMs) are impressively successful in predicting text, it appears that they must have access to a 'world model' representing causal and definitional structure. However, the dominant formalisms of modern causal inference -- Judea Pearl's interventioni…

相关实体

相关话题