Daeun Lee

新基准StreamGaze测试LLM的注视引导视频推理能力

研究人员推出StreamGaze，一个新颖的基准，旨在评估多模态大语言模型（MLLMs）在流式视频应用中利用人类注视信号进行时序和主动推理的有效性。该基准包含过去、现在和主动任务，评估模型在流式环境中解释和利用注视数据的能力，特别是在增强现实场景中。当前最先进的MLLMs在这些任务上与人类能力相比存在显著的性能差距，表明在基于注视的时序推理和意图建模方面存在局限性。