EgoGapBench

新的EgoGapBench基准测试突显了大型语言模型在以自我为中心的动作选择方面存在的困难

一个新的名为EgoGapBench的基准测试已被开发出来，专门用于评估多智能体场景中的以自我为中心的动作选择。该基准测试旨在分离出从智能体自身视角选择动作的能力，这与仅仅处理第一人称视角数据不同。目前的大型语言模型，包括专有的模型，在执行此任务时都面临困难，常常选择其他智能体的动作而不是自身的动作。虽然在现有以自我为中心的数据上进行微调并不能显著提高性能，但直接在EgoGapBench数据上进行训练显示出希望，但尚未达到人类水平的准确性。