BuddyVQA

新基准BuddyVQA测试AI伴侣在第一人称视频中的表现

研究人员推出了BuddyVQA，这是一个旨在评估第一人称视频流中问答能力的新基准，模拟AI伴侣的角色。该基准解决了自我指称表达和链式问题等挑战，这些挑战在现实世界的第一人称场景中很常见，但在现有数据集中却常常被忽视。为了应对这些挑战，该团队还开发了MyBuddy，一个利用思维链推理机制和记忆组件来有效处理历史问答和视觉数据的多模态系统，在BuddyVQA和其他视频问答基准上展示了显著的性能提升。