LIBERO-Para

新的基准测试IndustrialVLA-Bench评估开放机器人策略模型

一个名为IndustrialVLA-Bench的新评估基准已被开发出来，用于评估开放机器人策略模型，特别是将视觉-语言-动作（VLA）模型与世界-动作模型（WAMs）进行比较。该基准引入了一个统一的报告模式，用于评估六个不同系统在能力、对非语言变化的鲁棒性以及指令敏感性方面的表现。结果表明，虽然模型在干净能力得分上相似，但在鲁棒性和释义评估中显示出显著差异，这表明评估协议的选择极大地影响了感知到的性能。