研究人员推出了互联机器人证据图(CREG)基准,这是一个旨在衡量互联机器人系统中基于证据的共享信念更新的新评估协议。该基准包含七种模式下的350个场景,详细展示了系统如何归因证据、更新信念以及处理矛盾。对四个开源指令模型和六个融合基线的初步评估显示,实体归因对性能有显著影响,并且证据中的语义关系对于准确性至关重要,在某些情况下甚至优于图序列化。研究还强调,信念准确性在整个证据序列中可能不是单调的,这是仅关注终点的评估通常会忽略的一个细微差别。 AI
影响 该基准通过对信念更新和证据处理进行详细评估,有望实现更强大、更可靠的机器人AI系统。
排序理由 该集群描述了在arXiv上发表的机器人研究新基准和评估协议。
在 Hugging Face Daily Papers 阅读 →
- alphaXiv
- arXiv
- CatalyzeX
- Connected Robotics Evidence Graph
- DagsHub
- Gotit.pub
- Hugging Face
- ScienceCast
- Crégy-lès-Meaux
- Holm-corrected
- Internet of Things
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →