实体
FailBench
FailBench
PulseAugur coverage of FailBench — every cluster mentioning FailBench across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的FailBench基准揭示了视觉语言模型在机器人任务成功评估方面的不可靠性
一个名为FailBench的新基准已被开发出来,用于评估视觉语言模型(VLMs)在判断机器人任务成功方面的可靠性。该基准包含2,197次操作尝试,结果显示,即使是表现最好的VLM,在检测机器人故障方面的平衡准确率也仅为0.77。针对故障检测进行微调的模型表现不如通用VLMs,并且在需要精细视觉证据的任务(如组装)上,它们的性能显著下降。研究人员发现,在模糊情况下存在预测成功的偏见,尽管空间定位等输入级干预显示出改进的潜力。
-
新框架和模拟工具应对不可避免的机器人故障
研究人员开发了一个新的安全框架,以解决在人类共享环境中运行的服务机器人中不可避免的故障问题。该框架量化了故障期间负面交互的可能性和严重性,使机器人能够在安全与任务效率之间取得平衡。为了促进该领域的研发,还创建了一个基于MuJoCo的模拟环境FailBench,支持在各种故障条件下研究机器人与环境的交互。