EgoSAT

新的EgoSAT基准测试视觉语言模型在以自我为中心的视频推理能力

研究人员推出了EgoSAT，一个旨在评估视觉语言模型（VLMs）理解以自我为中心的视频流能力的新基准。该基准将各种任务统一到一个单一的流式框架中，要求模型根据顺序到达的视频帧对过去、现在和未来的事件进行推理。在EgoSAT上的评估显示，当前的VLMs在时间推理方面存在困难，并且表现出显著的校准不足，经常对错误的预测表现出高度自信。