GuideMe

新的GuideMe基准测试MLLM的实时视频任务指导能力

研究人员推出了GuideMe，这是一个新的基准测试，旨在评估多模态大语言模型（MLLM）在流式视频中为程序性任务提供实时指导和干预的能力。该基准测试包含来自不同领域的2400多个视频，以及近48000个交互样本，涵盖指令、反馈和纠错等任务。初步实验显示，当前的MLLM在给出指令方面表现出色，但在识别执行错误和提供纠正性反馈方面存在显著困难。