一篇新的研究论文探讨了使用预测准确性作为评估大型语言模型合成代码世界模型（CWMs）的唯一指标的局限性。作者认为，尽管CWMs可以在采样轨迹上实现高转换准确性，但这并不能保证在规划任务中的有效性能。他们证明，即使是一个准确性接近完美的CWM，如果其一小部分错误涉及到关键的游戏动态，也可能系统性地失败。这个问题无法通过增加数据或使用GPT 5.x等模型来解决，因为LLM倾向于翻译规则而不是推断规则。该论文建议，面向规划的CWM的充分性应通过其在搜索分布上的表现或通过直接博弈来衡量，而不是仅仅依靠预测准确性。 AI
影响 强调了评估LLM生成的用于规划任务的代码时存在的关键差距，并建议需要新的指标来构建稳健的AI系统。
排序理由 一篇发表在arXiv上的研究论文，详细介绍了LLM合成的代码世界模型的局限性。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
