EgoAfford

新基准EgoAfford和模型EgoLens解决了面向任务的负担能力接地问题

研究人员推出了EgoAfford，这是一个新的基准，旨在将面向任务的负担能力接地与以自我为中心的视觉观察和多步规划联系起来。该基准包括来自2000个生成场景的大约15.5k张经过人类验证的图像，以及来自26个任务的102张图像的真实世界数据集。为了应对这些挑战，他们还开发了EgoLens，一个具有特定角色掩码解码器的3B多模态大型语言模型。