SVI-Bench

新的SVI-Bench基准测试AI战略视频智能

研究人员推出SVI-Bench，这是一个旨在评估AI模型战略视频智能的新基准。该基准使用篮球、足球和曲棍球等团队运动作为动态微世界，将现实世界的多主体复杂性与可验证的结果相结合。SVI-Bench包含广泛的视频数据、标注动作和比赛报告，组织成从场景理解到因果推理、模拟和主体合成的任务。初步评估显示，当前的AI模型在感知任务上表现良好，但在更高级的推理和战略规划方面存在显著困难，在复杂主体任务上的准确率仅为5%。