Ridwan Mahbub

新的基准测试DATAREEL揭示VLM在自动视频故事生成方面存在困难

研究人员推出了DATAREEL，这是一个旨在评估视觉语言模型（VLM）自动生成数据驱动视频故事能力的新基准测试。该基准测试包含328个真实世界的数据卷轴，并评估模型根据给定的数据表、沟通意图和风格参考创建可执行动画及同步字幕的能力。初步评估显示，专有模型和开放权重模型之间存在显著的性能差距，后者经历了很高的执行失败率。即使是最好的模型在生成静态图表、不同步字幕和不一致布局方面也存在困难，这表明自动数据视频生成任务远未解决。