研究人员推出了CAST-Bench,这是一个新的基准,旨在通过将每种生成的声音追溯到其预期来源来评估文本到音频视频(T2AV)生成系统。该基准解决了现有系统中的局限性,确保声音被正确归属、与视觉动作同步,并在单镜头和多镜头场景中保持语义准确性。CAST-Bench将900个提示组织成九个声音-来源类别,并包含一个包含18个指标的评估套件。对12个系统的初步基准测试显示,虽然视觉质量很高,但音频语义分数差异很大,多镜头提示在一致性和事件保留方面带来了特别的挑战。 AI
影响 该基准有望提高AI生成音频视频内容的准确性和连贯性。
排序理由 该项目是一篇研究论文,详细介绍了一个用于评估AI模型的新基准。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CAST-Bench
- CatalyzeX Code Finder for Papers
- Connected Papers
- DagsHub
- Gotit.pub
- Hugging Face
- Influence Flower
- Litmaps
- ScienceCast
- scite Smart Citations
- T2AV
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →