Vision-Guided Interaction

新的VIABench基准测试评估MLLMs在视力障碍辅助方面的能力 · 跟踪3个来源

研究人员推出了VIABench，一个旨在评估多模态大语言模型（MLLMs）在辅助视力障碍个体方面的能力的新视频基准测试。该基准测试包括三个任务：主动提醒、视觉问答和视觉引导交互，使用了由视力障碍个体录制的第一人称视频。目前的MLLMs显示出局限性，尤其是在预测实时事件方面，这表明需要进一步开发定制化的模型以应用于此场景。