研究人员开发了SimAudit,一个基于LLM的管道,用于审计模拟操纵基准中使用的成功检查器。这些检查器将回合标记为成功或失败,可能会错误地将不完整的执行标记为成功(幻影成功)或将有效的替代解决方案标记为失败(沉默失败)。SimAudit分析任务指令和检查器代码以识别潜在的分歧,在模拟中重现这些场景,并根据指令直观地验证结果。在RoboTwin 2.0、RoboCasa365和RoboDojo这三个基准上,SimAudit识别出61个不同的缺陷,包括40个幻影成功和21个沉默失败,这凸显了对更严格的评估协议的需求。 AI
影响 突出了模拟环境中的关键缺陷,可能影响机器人操纵任务的AI训练和评估的可靠性。
排序理由 该集群包含一篇学术论文,详细介绍了一种审计模拟基准的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →