研究人员开发了 FactoryBench，这是一个新的基准测试，旨在利用工业机器人遥测数据评估时间序列模型和大型语言模型（LLMs）的机器理解能力。该基准测试包含超过 70,000 个问答对，分为四个因果层次，与 Pearl 的因果阶梯相呼应，并包含各种答案格式。对六个领先的大型语言模型的初步评估显示，在结构化任务上，没有一个模型的准确率超过 50%，在决策制定任务上，准确率更是未超过 18%，这凸显了当前人工智能理解工业机械能力方面的显著差距。 AI
影响 凸显了大型语言模型在工业应用能力方面的关键差距，可能指导未来在鲁棒机器理解方面的研究。
排序理由 该集群描述了一个用于评估人工智能模型的新学术基准测试。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
