VideoABC

新框架使用属性分析来衡量视频-LLM的复杂度

研究人员推出了一种名为VideoABC的新框架，旨在衡量视频-LLM的视频-问题对的复杂度。这种非参数度量利用视频属性词汇表，例如场景复杂度和事件速度，来估计视频-LLM在给定输入上失败的概率。VideoABC结合了k-means和通用格量化器，以确保即使在参考数据有限的情况下也能进行准确的估计和泛化。实验表明，该方法在性能上优于其他方法，同时提供了对基准复杂度可解释的见解。