ProactiveBench

新的ProactiveBench评估测试流式视频模型的人类互动能力

研究人员推出了ProactiveBench，一个旨在评估流式视频模型主动互动能力的新评估框架。与现有的被动评估不同，ProactiveBench以一秒为间隔测试模型，无需明确的响应提示，模拟人类般的监控和及时响应。该框架包括六个子任务，这些任务的触发器模糊性和时间容忍度各不相同，结果显示大多数当前系统倾向于过早响应而不是错过事件，这凸显了它们在时间决策方面存在的显著差距。