VibeVideoBench

新的VibeVideoBench基准评估驱动代码的视频生成代理

引入了一个名为VibeVideoBench的新基准，用于评估多模态代理从代码生成视频的能力。该基准包含12个类别共239个任务，要求代理在一小时内生成带声音的MP4视频。初步评估显示，尽管GPT-6 Astra和Claude Opus 5.5等领先代理表现最佳，但它们仍有相当一部分任务失败，许多失败归因于渲染延迟或任务从未开始。该基准的评估是分层的，包括程序检查、评分卡检查以及VLMs和人类偏好的质量评估。