LongEgoRefer

新基准LongEgoRefer挑战AI进行长篇主观视角视频理解

研究人员推出了LongEgoRefer，这是一个旨在评估长篇主观视角视频中视频指代表达理解能力的新基准。该基准源自Ego4D数据集，包含近1500个指代表达，视频平均长度为45分钟，面临着物体稀疏出现和复杂人机交互等挑战。当前最先进的模型甚至无需训练的基线模型在LongEgoRefer上都表现不佳，凸显了对更先进的视频理解模型的需求，这些模型能够对扩展的、动态的叙事进行时空定位。