English(EN) AI world model's 90% accuracy was a cheat — fix recovers 88% World model spatial reasoning scores collapse from 0.90 to 0.27 when the goal is hidden, exposing i

AI世界模型的空间推理准确率因指令泄露而膨胀

作者 PulseAugur 编辑部 · [1 个来源] · 2026-07-12 06:13

最近的一项分析显示，一个AI世界模型在空间推理方面报告的90%准确率因一个缺陷而被夸大。当目标隐藏时，模型的性能显著下降至27%，表明存在指令泄露而非真正的推理能力。在纠正了这种“作弊”行为后，模型的准确率恢复到88%。 AI

影响强调了防止指令泄露和确保真正AI推理能力需要健全的评估方法的关键需求。

排序理由对一篇研究论文的分析，揭示了AI模型报告性能中的一个缺陷。[lever_c_demoted from research: ic=1 ai=1.0]

在 Mastodon — fosstodon.org 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

Mastodon — fosstodon.org TIER_1 English(EN) · [email protected] · 2026-07-12 06:13

AI world model's 90% accuracy was a cheat — fix recovers 88% World model spatial reasoning scores collapse from 0.90 to 0.27 when the goal is hidden, exposing i

AI world model's 90% accuracy was a cheat — fix recovers 88% World model spatial reasoning scores collapse from 0.90 to 0.27 when the goal is hidden, exposing instruction leakage — a prompt-cheating flaw the authors diagn https://www. notatechguy.com/ai-world-model -s-90-accuracy…

链接 notatechguy.com/ai-world-model-s-90-accur…

报道来源 [1]

AI world model's 90% accuracy was a cheat — fix recovers 88% World model spatial reasoning scores collapse from 0.90 to 0.27 when the goal is hidden, exposing i

相关实体

相关话题