English(EN) The Social World Model Evaluation Gap

研究揭示了社会世界模型评估的鸿沟

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-27 04:00

对1999年至2026年间发表的113篇论文的最新审计显示，在评估社会世界模型方面存在显著的鸿沟。虽然许多研究评估了系统在谈判等任务中达成有利结果的能力，但很少有研究直接衡量模型对人类反应预测的准确性。在审查的主要评估中，只有两项还将明确的反应预测与实际人类反应进行了比较，并且这些预测使用了行动选择时可用的信息。对25项语言模型工作的进一步检查发现，没有实验符合这些特定标准，这表明在评估社会世界模型的预测能力方面存在更广泛的问题。 AI

影响凸显了评估AI对社会动态理解的潜在缺陷，这可能会影响更细致的AI代理的开发。

排序理由该集群包含一篇在arXiv上发表的详细介绍研究结果的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 14 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该集群包含一篇在arXiv上发表的详细介绍研究结果的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, safety; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.AI TIER_1 English(EN) · Denglin Jiang (New York University), Annie Wang (New York University) · 2026-10-27 04:00

社会世界模型评估鸿沟

arXiv:2610.33014v1 Announce Type: cross Abstract: A negotiation assistant can reach a good deal without accurately predicting the other person's response. We ask whether evaluations of social world models test that prediction directly. We audit 113 works published from 1999 to 20…

本文如何被排名

报道来源 [1]

社会世界模型评估鸿沟

相关实体

相关话题