实体
FactoryWave
FactoryWave
PulseAugur coverage of FactoryWave — every cluster mentioning FactoryWave across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的FactoryBench基准测试揭示LLM在工业机器理解方面存在困难
研究人员推出了FactoryBench，这是一个旨在评估时间序列模型和大型语言模型（LLM）在工业机器人遥测领域机器理解能力的新基准。该基准测试结合了受Pearl因果阶梯启发而构建的四个因果层级的问题，并采用确定性评分与自由形式回答的LLM-as-judge方法相结合的方式。FactoryBench包含FactoryWave数据集，该数据集由工业机器人手臂的传感器数据组成，以及超过70,000个来自多个数据集的问题-答案对。对六个领先…
-
FactoryBench 基准测试揭示大型语言模型在工业机器理解方面存在困难
研究人员开发了 FactoryBench，这是一个新的基准测试，旨在利用工业机器人遥测数据评估时间序列模型和大型语言模型（LLMs）的机器理解能力。该基准测试包含超过 70,000 个问答对，分为四个因果层次，与 Pearl 的因果阶梯相呼应，并包含各种答案格式。对六个领先的大型语言模型的初步评估显示，在结构化任务上，没有一个模型的准确率超过 50%，在决策制定任务上，准确率更是未超过 18%，这凸显了当前人工智能理解工业机械能力方面的显著差距。