引入了一个名为VibeVideoBench的新基准,用于评估多模态代理从代码生成视频的能力。该基准包含12个类别共239个任务,要求代理在一小时内生成带声音的MP4视频。初步评估显示,尽管GPT-6 Astra和Claude Opus 5.5等领先代理表现最佳,但它们仍有相当一部分任务失败,许多失败归因于渲染延迟或任务从未开始。该基准的评估是分层的,包括程序检查、评分卡检查以及VLMs和人类偏好的质量评估。 AI
影响 该基准将推动多模态AI代理在复杂视频生成任务方面的改进。
排序理由 该集群描述了一篇介绍用于评估AI模型基准的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX
- Claude Opus 5.5
- DagsHub
- Gotit.pub
- GPT -6 Astra
- Hugging Face
- ScienceCast
- VibeVideoBench
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →