Alva

新的ALVA系统使用动作和语言评估具身代理的进展

研究人员开发了ALVA（动作和语言条件化视频评估），一种专为基于视觉的具身代理设计的新型轨迹评估器。ALVA通过以视觉观察、所采取的动作序列和自然语言指令为条件来评估任务进展。该方法利用预训练的视觉-语言模型，分两个阶段进行：首先总结视觉转换，然后将这些摘要与指令进行比较，以生成离散的进展分数。在模拟的3D家庭环境中进行测试时，ALVA的误报率接近于零，并且与现有基线相比，为策略优化提供了更有效的反馈。