开发了一种新的诊断协议，用于测试前沿大语言模型（LLMs）在不熟悉的概念框架中的物理推理能力。这个可审计的四阶段过程，包括锁定的预注册和双大语言模型评审，被应用于三个不同的平行物理世界：一个单方程世界（$F=mv$）、亚里士多德力学和一个更复杂的“衰变世界”。研究发现，尽管 Claude Opus 4.7、GPT-5.5 和 Gemini 3.1 Pro 等模型在较简单的世界中进行内容和结构推理取得了一定的成功，但它们在“衰变世界”中遇到了显著的困难，由于倾向于回归标准物理学原理而常常计算出错误的比例。研究还强调了大语言模型评审在不同框架下的可靠性限制以及自我审查能力的不足。 AI
影响 凸显了大语言模型在熟悉模式之外的推理局限性，表明需要更强大的评估方法来解决复杂问题。
排序理由 学术论文，详细介绍了一种评估大语言模型能力的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2607.00276v1 Announce Type: cross Abstract: Current large-language-model (LLM) physics benchmarks are usually scored by answer accuracy, which cannot distinguish genuine reasoning from recall of familiar problem patterns and reveals little about where a model's reasoning br…
Current large-language-model (LLM) physics benchmarks are usually scored by answer accuracy, which cannot distinguish genuine reasoning from recall of familiar problem patterns and reveals little about where a model's reasoning breaks down. We introduce an auditable four-stage di…