实体 GlobeBench

GlobeBench

PulseAugur coverage of GlobeBench — every cluster mentioning GlobeBench across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_307742 · Oct 19 · 04:00

GlobeBench 基准测试揭示大型语言模型难以应对复杂世界模拟

研究人员推出了 GlobeBench，这是一个旨在评估文本世界模型在模拟复杂强化学习环境中的能力的新基准。该基准包含五个领域和十九种模拟技能的 1,632 项任务，评估模型根据智能体轨迹和规则理解来预测环境响应的能力。在对 20 个通用和专用模型的评估中，GPT-6 Astra 取得了最高的 49.57% 成功率，尽管当操作影响到更大比例的环境或依赖对象时，准确率显著下降。研究突显了当前大型语言模型在通用世界建模方面存在巨大差距，有 …