Connected Robotics Evidence Graph

新的CREG基准衡量机器人中基于证据的信念更新

研究人员推出了互联机器人证据图（CREG）基准，这是一个旨在衡量互联机器人系统中基于证据的共享信念更新的新评估协议。该基准包含七种模式下的350个场景，详细展示了系统如何归因证据、更新信念以及处理矛盾。对四个开源指令模型和六个融合基线的初步评估显示，实体归因对性能有显著影响，并且证据中的语义关系对于准确性至关重要，在某些情况下甚至优于图序列化。研究还强调，信念准确性在整个证据序列中可能不是单调的，这是仅关注终点的评估通常会忽略的一个细微差别。