研究人员推出了DATAREEL，这是一个旨在评估视觉语言模型（VLM）自动生成数据驱动视频故事能力的新基准测试。该基准测试包含328个真实世界的数据卷轴，并评估模型根据给定的数据表、沟通意图和风格参考创建可执行动画及同步字幕的能力。初步评估显示，专有模型和开放权重模型之间存在显著的性能差距，后者经历了很高的执行失败率。即使是最好的模型在生成静态图表、不同步字幕和不一致布局方面也存在困难，这表明自动数据视频生成任务远未解决。 AI
影响 该基准测试将推动对更强大的数据可视化和自动化内容创建AI系统的研究。
排序理由 该集群描述了一个用于评估AI模型的新基准测试和研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
