English(EN) Developmental Trajectories of Situation Modeling and Mentalizing in Transformer Language Models

新研究追踪Transformer语言模型中的心理化和情境建模能力

作者 PulseAugur 编辑部 · [1 个来源] · 2026-06-30 04:00

一篇新研究论文探讨了Transformer语言模型（特别是Olmo2和Pythia系列）在情境建模和心理化能力方面的发展。研究发现，在错误信念任务（FBT）上的准确表现取决于模型大小和训练量，并且在预训练过程的后期出现。虽然训练后干预可以提高FBT的准确性，但模型仍然表现出脆弱性，易受非事实动词和其他代理的知识状态的影响。研究表明，更大、训练更充分的模型会发展出部分连贯的情境模型，但其心理化能力仍然容易受到特定语言线索的影响。 AI

影响为理解大型语言模型（LLM）推理的发展阶段和局限性提供了见解，为未来模型的开发和评估提供信息。

排序理由学术论文，详细介绍了关于大型语言模型（LLM）能力的研究结果。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 0 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 学术论文，详细介绍了关于大型语言模型（LLM）能力的研究结果。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, model release; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: 110 days old; Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.CL TIER_1 English(EN) · Pamela D. Rivi\`ere, Cameron Jones, Sean Trott · 2026-06-30 04:00

Transformer语言模型中情境建模和心理化能力的发展轨迹

arXiv:2606.28524v1 Announce Type: new Abstract: Recent work suggests that Large Language Models (LLMs) are sensitive to the belief states of agents described by text, as measured by the false belief task (FBT), yet persistent concerns of construct validity remain. We adopt a **de…

本文如何被排名

报道来源 [1]

Transformer语言模型中情境建模和心理化能力的发展轨迹

相关实体

相关话题