MLLM-as-Judge

新的Sci-VBench基准揭示AI科学视频生成能力的差距

研究人员推出了Sci-VBench，这是一个旨在评估AI模型在科学领域生成视频能力的新基准。该基准包含自然科学、医疗保健、人文学科和工程学领域超过1200个专家标注的示例，要求模型展示科学推理和知识综合能力。对16个模型的初步评估显示，专有系统和开源系统之间存在显著差距，尤其是在科学和因果正确性方面，这表明尽管视觉真实性有所提高，但当前的视频生成模型在准确表示复杂动态方面仍面临挑战。