Grid-Bench

新基准Grid-Bench测试大型语言模型预测空间序列变化的能力

研究人员开发了Grid-Bench，这是一个旨在评估大型语言模型（LLMs）预测顺序空间操作结果能力的新基准。该基准涉及转换由网格表示的离散世界，模型根据初始配置、规则和基于文本的事件历史来预测最终状态。对六个LLMs的评估显示，随着事件历史的延长，完整状态的准确性急剧下降，即使在精确匹配分数相似的模型之间也突显了模型性能和错误模式的显著差异。