voraus-AD

FactoryBench 基准测试揭示大型语言模型在工业机器理解方面存在困难

研究人员开发了 FactoryBench，这是一个新的基准测试，旨在利用工业机器人遥测数据评估时间序列模型和大型语言模型（LLMs）的机器理解能力。该基准测试包含超过 70,000 个问答对，分为四个因果层次，与 Pearl 的因果阶梯相呼应，并包含各种答案格式。对六个领先的大型语言模型的初步评估显示，在结构化任务上，没有一个模型的准确率超过 50%，在决策制定任务上，准确率更是未超过 18%，这凸显了当前人工智能理解工业机械能力方面的显著差距。