RoboTrustBench

新基准测试AI视频模型在机器人操作中的安全性

研究人员推出了RoboTrustBench，这是一个旨在评估用于机器人操作的视频世界模型可信度的新基准。该基准使用真实的DROID片段，在正常、敏感约束、反事实和对抗性场景下评估模型。对七个视频世界模型的初步评估显示，尽管当前模型可以生成视觉上连贯的视频，但它们在约束推理、反事实基础和抑制不安全指令等方面常常失败，这表明仅凭视觉质量不足以满足可靠的机器人应用。