PulseAugur
实时 12:04:56
English(EN) CLIP-CC-Bench: Evaluating Paragraph-Level Video Descriptions in Video-Language Models

新基准评估视频语言模型在长篇描述方面的能力

研究人员推出了CLIP-CC-Bench,这是一个新的评估套件,旨在评估视频语言模型生成视频内容的详细、段落长度描述的能力。该基准源自电影场景,将大约90秒的剪辑与专家撰写的叙述性描述配对。评估利用了五个基于LLM的嵌入模型组成的集成,通过粗粒度和细粒度的语义匹配来比较生成的描述与参考文本,结果表明当前模型在细致、长篇的视频叙述方面存在困难。 AI

影响 该基准将推动视频语言模型向更复杂的长篇叙事生成能力发展。

排序理由 该集群描述了一篇介绍用于评估AI模型的新颖基准的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 Hugging Face Daily Papers 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新基准评估视频语言模型在长篇描述方面的能力

报道来源 [1]

  1. Hugging Face Daily Papers TIER_1 English(EN) ·

    CLIP-CC-Bench:评估视频语言模型中的段落级视频描述

    Benchmarking video-language models has largely focused on short clips and single-sentence metrics, leaving open whether current systems can generate accurate long-form, paragraph-level descriptions. We introduce CLIP-CC-Bench, an evaluation suite for long-form video description b…